大数据-hadoop
主要介绍hadoop生态圈的集群及在使用过程中异常处理,优化等。
starsky20
本人为人正直,进取心强,在学好专业课同时高度重视基础课程和课外的学习,培养合理的知识结构,注意提高独立思考、解决问题和学习的能力。在以后的学习中,努力培养自己成为一个复合型人才。
展开
-
ElasticSearch集群安装
1. ElasticSearch1.1. 基本概述ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。下载地址:https:/...原创 2018-04-12 19:23:56 · 1184 阅读 · 0 评论 -
Hbase1.3.x单机版安装
Hbase1.x单机版安装 参考文档:http://blog.csdn.net/it_taojingzhan/article/details/51789739http://blog.csdn.net/blackenn/article/details/52234420http://blog.csdn.net/wtq1993/article/details/53088968...原创 2018-08-15 10:07:52 · 1476 阅读 · 0 评论 -
Hbase1.3.1集群
Hbase1.3.1集群 集群规划: 主机名 IP 安装的软件 运行的进程hdp-ha-01 192.168.1.63 jdk、hadoop、zookeeper、hbase NameNode,SecondaryNameNode,NodeManager,ResourceManager,QuorumP...原创 2018-08-15 10:09:17 · 521 阅读 · 0 评论 -
hbase常见错误
hbase启动错误 org.apache.hadoop.hbase.zookeeper.RecoverableZooKeeper: The identifier of this process is 4818@localhost85 [root@localhost86 local]# hbase shellHBase Shell; enter 'help<RETU...原创 2018-08-15 10:10:45 · 8288 阅读 · 0 评论 -
Hbase数据导出实例
Hbase数据导出实例 需求:根据时间范围、区域等条件查询,将hbase中终端采集数据最大时间、最小时间的日志数据导出参考文档:http://blog.csdn.net/qq_27078095/article/details/56482010https://www.cnblogs.com/szw-blog/p/5512349.htmlhttp://bl...原创 2018-08-15 10:15:22 · 2860 阅读 · 2 评论 -
hbase开发-Connection连接创建
hbase中Connection创建,HConnectionManager.getConnection(HBaseConfiguration.create());HConnectionManager.createConnection(HBaseConfiguration.create();//1.3.x及以前使用一下方式创建,HConnectionManager是ConnectionF...原创 2018-08-15 11:23:18 · 16091 阅读 · 1 评论 -
hbase基本命令使用
hbase命令使用 基本shell命令 Help帮助命令查询:hbase(main):026:0> helpHBase Shell, version 1.3.1, r930b9a55528fe45d8edce7af42fef2d35e77677a, Thu Apr 6 19:36:54 PDT 2017Type 'help "COMMAND"', (...原创 2018-08-15 10:14:35 · 1241 阅读 · 0 评论 -
Hbase性能优化
Hbase性能优化 dataName线程数设置 设置处理文件线程数量: 文件句柄和进程限制 修改/etc/sysctl.conf,设置fs.file-max值。 时间同步 ntp设置服务器时间一致。 设置交换区 编辑文件/etc/sysctl.conf,增加vm.swappingess=5, ...原创 2018-08-15 10:17:16 · 1836 阅读 · 0 评论 -
hbase分布式安装及配置
hbase分布式安装及配置原创 2017-09-06 18:13:40 · 2298 阅读 · 0 评论 -
kylin使用中曾遇到的问题整理
kylin使用中曾遇到的问题整理原创 2017-09-06 15:37:23 · 20337 阅读 · 2 评论 -
kylin安装及配置
1.1. KYLIN安装1.1.1. 安装环境安装环境:jdk-8u65-linux-x64.tar.gzhadoop-2.6.2.tar.gzhadoop-native-64-2.6.0.tarzookeeper-3.4.6.tar.gzhbase-1.1.5-bin.tar.gzapache-hive-2.1.1-bin.tar.gzapache-ky原创 2017-09-06 18:18:45 · 9054 阅读 · 0 评论 -
zookeeper安装及配置
zookeeper安装及配置原创 2017-09-06 18:11:42 · 511 阅读 · 0 评论 -
hive使用中常见错误
1.1. hive错误1.1.1. hive2.3初始化mysql不起作用[root@localhost65bin]# schematool -initSchema -dbType mysql--verboseMetastore connectionURL: jdbc:derby:;databaseName=metastore_db;create=trueMetastor原创 2017-09-06 15:35:16 · 35805 阅读 · 9 评论 -
hive安装及配置
hive安装及配置原创 2017-09-06 18:15:45 · 3015 阅读 · 0 评论 -
Sqoop使用手册
Sqoop使用手册转载请注明出处:http://www.cnblogs.com/xiaodf/· 1 Sqoop概述· 2版本说明· 3驱动安装· 3.1 MySQL· 4基本用法· 4.1导入· 4.1.1保护密码· 4.1.2原创 2017-05-31 10:56:51 · 743 阅读 · 0 评论 -
cdh集群安装sqoop
sqoop-cdh安装:1、上传sqoop-1.4.6-cdh5.10.1.tar.gz包到/opt/sqoop目录2、解压缩文件: tar -zxf sqoop-1.4.6-cdh5.10.1.tar.gz3、设置环境变量:vim /etc/profile#添加一下内容export JAVA_HOME=/usr/java/jdk1.7.0_79export CLASSPATH=.:$JAVA_H...原创 2018-03-07 18:45:53 · 3563 阅读 · 0 评论 -
hbase导出数据为文本,csv,html等文件
需求:根据时间范围、区域等条件查询,将hbase中终端采集数据最大时间、最小时间的日志数据导出思路:1、通过hbase自带导入导出将查询到的终端mac数据导出到指定目录hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名称 目录例如:hbase org.apache.hadoop.hbase.mapreduce.Driver exp...原创 2018-03-01 10:37:37 · 7502 阅读 · 0 评论 -
msyql安装错误
1. mysql安装及配置; 1.1. 安装mysql:yum -y install mysql mysql-servermysql-devel [root@archive ~]# yum -y install mysqlmysql-server mysql-develLoaded plugins: fastestmirror, securitySetting up Install Proces...原创 2018-07-02 17:31:45 · 790 阅读 · 0 评论 -
CDH-5.14.2集群启动异常记录
1、[root@y3 log]# servicecloudera-scm-agent statuscloudera-scm-agent 已死,但 pid 文件仍存解决办法:1、查看日志错误信息:[root@y3 cloudera-scm-agent]# vim /var/log/cloudera-scm-agent/cloudera-scm-agent.log[02/Jul/2018 02:02:...原创 2018-07-02 15:13:25 · 4440 阅读 · 2 评论 -
CDH-5.14安装solr
1、solr安装:在cdh主界面,点击添加服务,选择solr直接安装即可。solr安装完成如下:首次安装完成是没有collection,collection需要自己创建。通过命令行创建如下:首先执行命令:solrctl instancedir --generate /var/lib/solr/demo_instancedir将schema.xml文件上传到集群服务器的/var/lib/solr/...原创 2018-07-02 17:27:53 · 3874 阅读 · 2 评论 -
CDH-5.14.2集群安装
1、所有主机root用户密码一致Ping检测网络链接是否正常telnet检测服务端口能否正常访问2、CentOS 6 相关网络配置:Ø 修改网络ip地址#vi/etc/sysconfig/network-scripts/ifcfg-eth0 修改eth0 网卡信息IP等.内容如下: ...原创 2018-05-16 22:20:44 · 5318 阅读 · 0 评论 -
hadoop安装中错误
1.1. hadoop错误1.1.1. 启动错误[root@xuegod63 hadoop-2.6.2]#sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh andstart-yarn.sh17/05/15 18:58:59 WARN util.NativeCodeLoader: Unab原创 2017-09-06 15:33:06 · 832 阅读 · 0 评论 -
Hadoop集群开发
Hadoop集群开发1. 配置网络环境1.1. 配置ip地址:[root@localhost85 ~]# vim/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=EthernetUUID=c1fa9edb-773e-48d2-83cf-82e8b01ffbb0ONBOOT=yesNM_CONTROLL原创 2017-05-31 10:55:36 · 4210 阅读 · 0 评论 -
hadoop集群-网络配置
1. 配置网络环境Centos7下载:http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso 1.1. 配置ip地址:[root@localhost85~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0TYPE=Ethe...原创 2018-05-05 00:36:21 · 567 阅读 · 0 评论