- 博客(13)
- 收藏
- 关注
RSS订阅
原创 关于大数据的一些简单了解
一 ：大数据：关于大数据没有一个非常准确的定义。但是通过对他的一些简单的了解，有一个简短的概括大数据是在短时间内能快速产生大量的并且多种多样的有价值的信息。随着社会的发展，人们产生的数据量也越来越大，越来越多。那么这就造成了一个重要的问题。数据量过大我们要如何去解决？一些优秀的程序员提出，第一种：可以垂直扩展：关于垂直扩展，简单一点的解释就是，如果我们有一台电脑，当我们需要大量存储数据，但是...
2019-06-10 21:06:36
1401
1
原创 Spark Streaming整合kafka实战
一、pom.xml文件中的依赖<groupId>groupId</groupId><artifactId>day142.0</artifactId><version>1.0-SNAPSHOT</version><properties> <scala.version>2.11.8</...
2019-07-18 18:28:26
151
原创 Scala从入门到精通
Scala的安装到使用一、Scala的介绍1.Scala是一门多番是的编程语言，即面对对象也是函数式编程我们之前学习的Java是面向对象的编程语言。而Scala即面向对象，也面向过程2.打开我们的idea,在File下找到settings，然后搜索scala,如果没有，我们可以通过网址进行下载。如果有，那我们就可以直接创建Scala项目。然后我们的SDK也需要配置，在选择版本的时候，要选...
2019-07-05 19:45:43
721
1
原创 Hive从安装到启动
#1.Hive的介绍一.与hive有关的一些知识点的介绍1.Hive是什么？Hive是一个基于Hadoop的数据仓库基础工具，用于处理结构化数据。关于Hive我们需要知道的几点：（1）hive本身不提供数据存储功能，使用hdfs做数据存储（2）hive也不提供分布式计算框架，hive的核心工作就是吧sql语句翻译成mr程序。（3）hive也不提供资源调度系统，也是默认由Hadoop当...
2019-06-19 20:13:06
262
原创 大数据之——Zookeeper个人讲解
#一.zookeeper的概念1.ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现， 是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。2 .ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳...
2019-06-18 14:39:31
331
翻译 MapReduce的简单介绍及执行过程
#1.## MapReduce的简单介绍MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。2）MapReduce是一个并行计算与运行软件框架（Software Fram...
2019-06-14 21:29:40
1203
转载 hadoop与eclips的搭建和连接
#1.今天我使用的是Hadoop中的伪分布集群与eclipse进行连接：进行配置之前，一定要保证你的伪分布集群能够正常启动。没有问题一. 首先：我们需要在windows系统中配置与Hadoop有关的环境变量（1）在电脑点击右键找到属性，在高级系统配置中，点击环境变量。。。（2）需要将Hadoop的文件地址配置上，注意最好在全中文路径下。（3） 还要再path中加入与Hadoop有关的...
2019-06-13 21:03:17
386
原创 Hadoop框架的伪分布和全分布搭建
#1.在搭建Hadoop之前我们需要安装jdk1.8.0_171，这里面jdk的版本没有特殊要求，我使用的是171的版本，也可以使用121的版本需要的可以去官网进行下载1.JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html在Linux中的安装步骤：1、检查一下系统中的jdk版本[root@...
2019-06-12 20:45:39
331
转载 我对大数据的一些了解
大数据大数据(Big Data)又称为巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关...
2019-06-10 15:39:58
246
原创 Linux相关的一些命令
#1.Linux中的一些简单的命令：cd命令：跳转到指定的目录下cd … :跳至上层目录cd . :跳至当前所在的目录cd :跳至根目录下cd~ :跳至home目录下面 pwd:显示当前所在位置的命令1） 查看网卡信息并检测网络是否通畅：ifconfig:查看网卡信息 ping:检测网络2） 查看网络的配置文件： cat /etc/sysconfig/network...
2019-06-10 15:07:03
146
原创 文件图片的下载
import java.io.BufferedInputStream;import java.io.BufferedOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.net.URLEncoder;import javax.servl...
2019-06-10 09:44:07
235
1
原创 关于Linux中一些简单的感受
这里写自定义目录标题man cdcd /etc/rc.dpwdcdpwdcd /etc/rc.dcd ..pwdcd .pwdcd ./X11pwdcd ../rc.dpwd#Linux中一些简单的讲解#linux的常用命令1）查看cd命令的用法man cd输出的结果是cd命令的先关用法，仔细阅读该命令的用法信息，直至当前显示结尾。2）按下空格键，进行翻页显示，直至“[END]”字符...
2019-06-09 21:40:45
135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人