Hadoop
Chengliangyao
欢迎大家多多指教!
展开
-
Linux(Ubuntu16)设置永久环境变量
进入 ./bashrc 设置,/etc/profile只能在当前命令行中发生作用。原创 2018-01-16 19:16:25 · 2084 阅读 · 0 评论 -
Hadoop集群安装,jps成功,但是没有datanode
hadoop集群安装,jps显示成功,但是查询不到子节点,如下图可能有以下两种情况:(1):/etc/hosts中Master对应了127.0.1.1,将其注释掉(2):由于之前做了伪分布式,core-site.xml中还在使用localhost,改正为Master原创 2018-01-17 11:30:09 · 5688 阅读 · 0 评论 -
hive配置常见问题
按照一般教程配置后运行时可能会不成功,可能有以下问题:1、mysql无法连接,3306这个端口绑定了127.0.0.1这个IP,通过netstat -an | grep 3306可以查看到,进入/etc/mysql/mysql.conf.d/mysqld.cnf 找到 bind-address=127.0.0.1 并注释掉,重启mysql2、mysql-connector这个jar包可能过高,在h...原创 2018-02-11 17:14:30 · 465 阅读 · 0 评论 -
hive导入数据成功,但是查询显示NULL
hive导入数据成功,但是查询结果为NULL,且未报错这是因为创建表格时没有对导入的数据格式没有处理,比如每行数据以tab键隔开,以换行键结尾,就要以如下语句创建表格:CREATE TABLE users(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' LINES TERMINATED BY '\n' STORE...原创 2018-03-05 17:01:14 · 11270 阅读 · 1 评论 -
MAC VMware Fusion Centos 虚拟机固定IP
1、命令行窗口进入:/Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf2、增加虚拟机的IP其中note为虚拟机的文件vmwarevm,hardware为虚拟机的mac地址,可以到虚拟机的网络配置中的高级选项中查看,如下图,第二个选项为固定IP地址,主义,ip地址一定要在范围内,打开的文件中有,注意有几个虚拟机就这样增加就行编写完毕后重启一下V...原创 2018-07-09 22:01:35 · 1729 阅读 · 2 评论 -
Hive和关系数据库的简单区别
这里列举以下几点区别:1、Hive 和关系数据库存储文件的系统不同,Hive 使用的是 Hadoop 的HDFS(Hadoop的分布式文件系统),关系数据库则是服务器本地的文件系统;2、Hive 使用的计算模型是 MapReduce,而关系数据库则是自己设计的计算模型;3、关系数据库都是为实时查询的业务进行设计的,而 Hive 则是为海量数据做数据挖掘设计的,实时性很差,因为用到了Ma...原创 2018-09-02 10:13:50 · 3169 阅读 · 0 评论 -
Hive中的数据模型
Hive 中主要包括 4 种数据模型:表(Table)、外部表(External Table)、分区(Partition)以及 桶(Bucket)。Hive 的表和数据库中的表在概念上没有什么本质区别,在 Hive 中每个表都有一个对应的存储目录。外部表指向已经在 HDFS 中存在的数据,也可以创建分区。Hive 中的每个分区都对应数据库中相应分区列的一个索引,但是其对分区的组织方式和...原创 2018-09-02 10:17:07 · 1699 阅读 · 0 评论 -
Hive的运行模式
Hive一共有3种运行模式:1. 内嵌模式将元数据保存在本地内嵌的 Derby 数据库中,这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显,因为一个内嵌的 Derby 数据库每次只能访问一个数据文件,这也就意味着它不支持多会话连接。2. 本地模式这种模式是将元数据保存在本地独立的数据库中(一般是 MySQL),这就可以支持多会话和多用户连接了。3. 远程模式此模...原创 2018-09-02 10:21:59 · 1488 阅读 · 0 评论 -
sqoop1 import 时报错Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject
如题,sqoop1 import 时报错Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject。这是因为sqoop缺少java-json.jar包.去http://www.java2s.com/Code/Jar/j/Downloadjavajsonjar.htm下载,然后放到sqoop/lib...原创 2018-11-06 11:26:34 · 1592 阅读 · 0 评论