hadoop
starsky20
本人为人正直,进取心强,在学好专业课同时高度重视基础课程和课外的学习,培养合理的知识结构,注意提高独立思考、解决问题和学习的能力。在以后的学习中,努力培养自己成为一个复合型人才。
展开
-
Hadoop集群开发
Hadoop集群开发1. 配置网络环境1.1. 配置ip地址:[root@localhost85 ~]# vim/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=EthernetUUID=c1fa9edb-773e-48d2-83cf-82e8b01ffbb0ONBOOT=yesNM_CONTROLL原创 2017-05-31 10:55:36 · 4257 阅读 · 0 评论 -
hadoop安装中错误
1.1. hadoop错误1.1.1. 启动错误[root@xuegod63 hadoop-2.6.2]#sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh andstart-yarn.sh17/05/15 18:58:59 WARN util.NativeCodeLoader: Unab原创 2017-09-06 15:33:06 · 841 阅读 · 0 评论 -
hbase导出数据为文本,csv,html等文件
需求:根据时间范围、区域等条件查询,将hbase中终端采集数据最大时间、最小时间的日志数据导出思路:1、通过hbase自带导入导出将查询到的终端mac数据导出到指定目录hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名称 目录例如:hbase org.apache.hadoop.hbase.mapreduce.Driver exp...原创 2018-03-01 10:37:37 · 7535 阅读 · 0 评论 -
hadoop集群-网络配置
1. 配置网络环境Centos7下载:http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 1.1. 配置ip地址:[root@localhost85~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=Ethe...原创 2018-05-05 00:36:21 · 571 阅读 · 0 评论 -
CDH-5.14.2集群安装
1、所有主机root用户密码一致Ping检测网络链接是否正常telnet检测服务端口能否正常访问2、CentOS 6 相关网络配置:Ø 修改网络ip地址#vi/etc/sysconfig/network-scripts/ifcfg-eth0 修改eth0 网卡信息IP等.内容如下: ...原创 2018-05-16 22:20:44 · 5326 阅读 · 0 评论 -
CDH-5.14.2集群启动异常记录
1、[root@y3 log]# servicecloudera-scm-agent statuscloudera-scm-agent 已死,但 pid 文件仍存解决办法:1、查看日志错误信息:[root@y3 cloudera-scm-agent]# vim /var/log/cloudera-scm-agent/cloudera-scm-agent.log[02/Jul/2018 02:02:...原创 2018-07-02 15:13:25 · 4450 阅读 · 2 评论 -
CDH-5.14安装solr
1、solr安装:在cdh主界面,点击添加服务,选择solr直接安装即可。solr安装完成如下:首次安装完成是没有collection,collection需要自己创建。通过命令行创建如下:首先执行命令:solrctl instancedir --generate /var/lib/solr/demo_instancedir将schema.xml文件上传到集群服务器的/var/lib/solr/...原创 2018-07-02 17:27:53 · 3885 阅读 · 2 评论 -
msyql安装错误
1. mysql安装及配置; 1.1. 安装mysql:yum -y install mysql mysql-servermysql-devel [root@archive ~]# yum -y install mysqlmysql-server mysql-develLoaded plugins: fastestmirror, securitySetting up Install Proces...原创 2018-07-02 17:31:45 · 797 阅读 · 0 评论