he515-CSDN博客

原创 Exception in thread "main" java.lang.IllegalArgumentException: java.net.UnknownHostException: node02

windows下开发HBase应用程序，HBase部署在linux环境中，在运行调试时可能会出现无法找到主机，类似异常信息如下：java.net.UnknownHostException: node02解决办法如下：在C:\WINDOWS\system32\drivers\etc\hosts文件中添加如下信息：192.168.174.131 node02192.168.174.132...

2019-07-31 10:32:53 3280

原创在线计算之Scala初识

*1.为什么要学习scala?**(1)spark底层是用scala来 ,要想学好spark 我们就必须会scala这门语言(2)scala语言基于java 开发效率高，运行速度快离线计算 -->在线计算 -->spark底层是用scala来 ,要想学好spark 我们就必须会scala这门语言**2.scala 语言的介绍**scala 是一门多范...

2019-07-05 20:03:45 237

原创 hive简介与操作

**Hive**** Facebook开源** 官网：hive.apache.org** Hive是基于Hadoop的一个数据仓库工具 Hive与数据库：数据库: mysql、oracle、DB2、sqlserver数据仓库 !== 数据库换言之, Hive不是数据库为什么要选择h...

2019-06-20 21:02:06 320

原创 Zookeeper

1.选举机制少数服从多数原则：过半原则—zookeeper节点数再好为单数，<2552.角色1).有一个写入请求，将请求传给follower2).follower将请求转发给leader3).leader将请求下发到各个follower，进行投票4).follower将自己的想法返回给leader3.原子广播和zab协议原子广播就是上边的3）+4）zab协议广播模式—...

2019-06-18 23:20:19 547

MapReduce 定义Hadoop 中的 MapReduce 是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集。MapReduce 来源Hadoop MapReduce 源于 Google 在2004年12月份发表的 MapReduce 论文。 Hadoop MapReduce 其实就是 Google M...

2019-06-14 23:20:03 941

原创大数据--------集群搭建到eclipse，并创建项目

HADOOP_HOME的路径为cnf1下的hadoop-2.6.5修改Path%HADOOP_HOME%\bin修改系统用户名在系统变量中新建HADOOP_USER_NAME，值为root在eclipse软件右击，点击文件所在位置，在打开里边的plugins文件夹，conf中的hadoop-eclipse-plugin-2.6.0jar包放入到eclipse的plugin文件夹中...

2019-06-13 21:34:50 247

原创虚拟机搭建过程

画线处需要改变需要查看记住自己的子网掩码和网关开始改写里边的内容1：vi /etc/hosts2.Vi /etc/sysconfig/network3.cd /etc/sysconfig/network-scripts/ifcfg-eth0ONBOOT 设置为yesBOOTPROTO 设置为staticGATEWAY 网关ipNETMASK 子网掩码DNS1 ...

2019-06-13 20:03:17 174

原创伪分布式搭建

配置免密登录(1)配置免密登录 node01->node01ssh-keygen -t rsa然后一直回车在输入ssh-copy-id -i ~/.ssh/id_rsa.pub root@node011、上传文件ftp 使用命令rz如果没有rz 用-yum install lrzsz -y 命令安装2、解压tar -zxvf jdk3、配置环境变量exp...

2019-06-12 17:26:15 238 1

原创 Secondary NameNode

Secondary NameNode的整个目的是在HDFS中提供一个检查点。它只是NameNode的一个助手节点NN掌握一批元数据为了保证元数据的安全，将内存中的数据存放在磁盘中持久化：当我们的集群因断电等待特殊原因产生问题的时候，问题解决，重新开机，会去磁盘上读取元数据，恢复到断电前的状态NN不能进行持久化的原因：其实他可以做因为需求小，占用内存少，不影响计算效率不可以做的原因是...

2019-06-11 23:19:17 200

原创 hadoop-HDFS

大数据：定义：短时间快速产生大量多种多样的有价值的信息为了解决数量过大的问题有两种方法1）.垂直拓展：相当于在计算机上安装n个硬盘2）.横向拓展：相当于把几台计算机连接起来谷歌的三大论文：GFS MapReduce BigData三大论文分别对应了 HDFS分布式文件系统（分布式的存储）分布式的处理 HBase简介Hadoop组成包括：0）hadoop...

2019-06-10 20:36:45 152

原创 Linux常用命令

1.ls命令就是list的缩写，通过ls 命令不仅可以查看linux文件夹包含的文件，而且可以查看文件权限(包括目录、文件夹、文件权限)查看目录信息等等常用参数搭配： ls -a 列出目录所有文件，包含以.开始的隐藏文件 ls -A 列出除.及..的其它文件 ls -r 反序排列 ls -t 以文件修改时间排序 ls -S...

2019-06-10 15:00:27 140

原创 linux：使用pstree和tree查看进程树和目录树

pstree工具可以查看进程的树型结构，tree工具可以查看目录的树形结构1. pstree1.1 pstree查看进程树：qingsong@db2a:/tmp$ pstreeinit-±atd|-cron|-db2fmcd|-db2syscr-±db2fmp—4*[{db2fmp}]| |-db2fmp—3*[{db2fmp}]| |-db2...

2019-06-09 18:44:09 1286

he515的博客