hadoop
文章平均质量分 57
jjshouji
这个作者很懒,什么都没留下…
展开
-
hive 同步数据到ES
1.相关jar包elasticsearch-hadoop-5.5.1.jar 下载地址:http://download.elastic.co/hadoop/到官网下载与ES一致的版本,比如ES版本是5.5.1,则下载http://download.elastic.co/hadoop/elasticsearch-hadoop-5.5.1.zipjar包就在压缩包dist目录中。2.添加jar包到hive中2.1 放置jar到hadoop 如下是放到hadoop根目录的jars目...原创 2020-06-20 18:01:16 · 2275 阅读 · 3 评论 -
大数据-hive报错记录
1.hive 与es 数据交互报错Diagnostic Messages for this Task:Error: java.lang.RuntimeException: java.lang.NoClassDefFoundError: org/apache/commons/httpclient/HttpConnectionManager at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:169)原创 2020-06-20 17:33:35 · 732 阅读 · 0 评论 -
flume 简介和安装
1.flume 简介 Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错性。它使用简单的可扩展数据模型,允许在线分析应用程序。2.数据流模型Flume事件被定义为具有字节有效负载和可选字符串属性集的数据流单元。 Flume代理是一个(JVM)进程,...原创 2019-08-03 11:36:23 · 403 阅读 · 0 评论 -
hadoop mapreduce 编写问题集
1.MapReduce没有日志信息 eclipse 运行MP后没有看到详细的日志信息,只有警告信息,没有跟linux系统一样的的,出现大量过程,资源信息日志。 解决: i:在项目下新建目录/src/main/resource ii:在该目录下新建文件名log4j.properties iii:添加...原创 2018-12-21 11:24:28 · 1616 阅读 · 0 评论 -
sqoop import 报错Communications link failure
1.问题描述 sqoop list-tables 工具正常,但是import 工具有问题。奇怪!!!![hadoop@master ~]$ sqoop import --username test --password test --connect jdbc:mysql://172.1.1.96:3306/test -m 1 --delete-target-dir --...原创 2018-11-08 12:00:49 · 3169 阅读 · 6 评论 -
hadoop 错误记录
1.hive beeline 连接 报错信息:beeline> !connect jdbc:hive2://10.0.1.118:10000/defaultConnecting to jdbc:hive2://10.0.1.118:10000/defaultEnter username for jdbc:hive2://10.0.1.118:10000/default: hadoo...原创 2018-03-08 16:21:41 · 243 阅读 · 0 评论 -
hadoop 管理命令dfsadmin
dfsadmin 命令用于管理HDFS集群,这些命令常用于管理员。1. (Safemode)安全模式 动作命令把集群切换到安全模式bin/hdfs dfsadmin -safemode [enter/get/leave]数据节点状态列表bin/hadoop dfsadmin -report添加或删除数据节点bin/hadoop dfsadmin -refreshNodes打印网络拓扑 bin原创 2018-01-17 18:40:12 · 10359 阅读 · 0 评论 -
hbase 启动报错
问题1:2017-11-04 12:01:03,063 INFO [master:16000.activeMasterManager] zookeeper.MetaTableLocator: Failed verification of hbase:meta,,1 at address=slave-1,16020,1509763647585, exception=org.apache.had原创 2017-11-04 13:43:42 · 3093 阅读 · 2 评论 -
hive 访问hbase 表
1.背景大部分同学可能不会用hbase ,或者用hbase 不习惯,但是对sql 却很熟悉,比如要统计表的记录数,用sql 可能知道怎么写,用hbase 可能不知道,或者知道但是很慢,性能有问题等,这时我们可以通过hive 建立与hbase 表的关联关系没映射hbase 表到hive。2.建hive表2.1 hbase 表 hbase 已存在product 表三个原创 2017-11-03 11:51:08 · 785 阅读 · 0 评论 -
hive 使用教程
hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。原创 2017-09-20 15:14:45 · 417 阅读 · 0 评论 -
sqoop-1.4.6 安装及配置
1.环境信息[hadoop@master sqoop-1.4.6]$ cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) [hadoop@master sqoop-1.4.6]$ [hadoop@master sqoop-1.4.6]$ mysql --versionmysql Ver 14.14 Distrib原创 2017-09-26 11:12:55 · 423 阅读 · 0 评论 -
hive 2.1.1 安装记录
1.安装环境:CentOS Linux release 7.1.1503 (Core) 2.需要包:mysql 驱动: https://dev.mysql.com/downloads/file/?id=472651 mysql-connector-java-5.1.44.zip hive包:https://mirrors.tu原创 2017-09-15 17:32:22 · 1464 阅读 · 0 评论 -
hbase shell状态下回退键设置(scureCRT)
1.选项-》会话选项2. 勾选hbase shell 即可用正常删除!原创 2017-09-23 14:10:23 · 455 阅读 · 0 评论 -
hbase 1.2.6 安装
1. 环境信息:Linux 系统: [hadoop@master bin]$ cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) hosts文件:[root@master ~]# cat /etc/hosts#127.0.0.1 localhost localhost.localdomain loca原创 2017-09-21 17:19:28 · 1962 阅读 · 0 评论 -
hadoop第一个计算任务wordcount的运行
第一个hadoop 程序,主要目的是感受下hadoop 的魅力,熟悉下hadoop,hdfs操作。原创 2017-09-14 14:55:06 · 437 阅读 · 0 评论 -
hadoop 2.8.1 集群搭建
hadoop 2.8.1基于centos 7 集群安装过程。记录安装过程中的问题,报错,以及注意事项。原创 2017-09-13 13:49:10 · 552 阅读 · 0 评论