![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Deng_huakai
花开自会落
展开
-
jps
jps查看进程[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ jps16188 DataNode16379 SecondaryNameNode16566 Jps16094 NameNode(此时hdfs的三个进程正常起来了)[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ which jps/usr/java/j...原创 2018-10-30 15:44:51 · 424 阅读 · 0 评论 -
spark on yarn-消除警告
spark on yarnlog-yarn.sh脚本export HADOOP_ROOT_LOGGER=DEBUG,consoleexport HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop$SPARK_HOME/bin/spark-submit \--master yarn \--class www....原创 2018-12-28 01:18:17 · 394 阅读 · 0 评论 -
压缩在hive中的使用
用sqoop将数据从MySQL中以snappy压缩格式导入至hive中hive (default)> create table product_info_snappy as select *from product_info where 1=2; (在hive中创建一张表,结构与 product_info相同 。这张表在MySQL的ruozedata5数据库下面。)[hadoop@ha...原创 2018-12-05 20:15:34 · 268 阅读 · 0 评论 -
对hadoop源码进行编译
hadoop编译前期准备软件需要软件安装安装maven安装ProtocolBuffer 2.5.0安装其他依赖包对hadoop进行编译前期准备软件需要部署JAVA环境安装maven安装Protocol Buffer 2.5.0安装Findbugs(可选)软件安装安装maven下载解压maven的安装包[hadoop@hadoop001 software]$ pwd/h...原创 2018-11-30 22:12:52 · 4303 阅读 · 0 评论 -
hadoop集群搭建2
java的部署[hadoop@hadoop001 software]$3代表小窗口中同时将命令行输入到三台机器上,[hadoop@hadoop001 software]$1代表将命令行输入到当前机器上1.解压jdk包放到/usr/java里面[root@hadoop001 ~]#3 su - hadoop[hadoop@hadoop001 ~]$3 cd software[hadoop@...原创 2018-11-27 22:27:13 · 152 阅读 · 0 评论 -
集群搭建1之前期准备
软件版本准备1.hadoop-2.6.0-cdh5.7.0.tar.gz2.jdk-8u45-linux-x64.gz3.zookeeper-3.4.6.tar.gz建立hadoop用户上传软件1.在/home/hadoop(也就是hadoop用户的家目录下面)建立几个文件夹用于存放数据[hadoop@hadoop001 software]$3 mkdir app software d...原创 2018-11-27 11:20:25 · 326 阅读 · 0 评论 -
hadoop集群搭建3之集群启动
前面集群已经成功搭建,现在来尝试启动集群。第一次系统启动的时候,是需要初始化的启动zookeeper1.启动zookeeper的命令:./zkServer.sh start|stop|status[hadoop@hadoop001 ~]$3 zkServer.sh start (脚本已经被配置在路径下面了,所以不用再到zookeeper的bin目录下面执行)JMX enabled by d...原创 2018-11-29 09:47:58 · 911 阅读 · 0 评论 -
Hive -函数
聚合函数 max min sum avg count (对于这种聚合函数就会运行Map Reduce)hive (default)> select count(1) from ruoze_emp where deptno=10;(查询部门编号为10的人的数量)hive (default)> select max(sal) min(sal) avg(sal) sum...原创 2018-11-21 13:49:56 · 145 阅读 · 0 评论 -
hdfs 的三个节点的pid文件分析
pid文件默认存储在/tmp目录下pid内容就是进程号[hadoop@hadoop001 tmp]$ cat hadoop-hadoop-datanode.pid9144修改/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop文件夹下的hadoop-env.sh文件里面的参数。export HADOOP_PID_DIR=${HADOOP_PI...原创 2018-11-12 17:15:23 · 206 阅读 · 0 评论 -
hdfs写流程
流程图如下:Client调用FileSystem.create(filePath),去与NN节点进行RPC通信,check该路径下的文件是否已经存在?是否有权限创建该文件?假如OK,就创建一个新的文件,但是不关联任何的block,返回一个FSDataOutputStream对象;假如不OK,就返回错误信息Client调用FSDataOutputStream对象的write方法,将第一个块写...原创 2018-11-12 16:12:10 · 143 阅读 · 0 评论 -
sparksql对于数据的读写操作
spark获取dataframe的三种方法将RDD转为dataframe1.方法一:使用反射的方式去推断RDD的schema信息,这种方法的前提是你已经知道了schema。具体的操作代码如下import org.apache.spark.sql.SparkSessionobject DFApp { def main(args: Array[String]): Unit = { ...原创 2019-03-22 12:39:50 · 404 阅读 · 0 评论