![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
技术博客
咸鱼翻身记
这个作者很懒,什么都没留下…
展开
-
从Hive1.0升级到Hive2.0(删除hive1.x中的元数据, 并不是数据迁移)
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 10:04:16 · 1018 阅读 · 0 评论 -
Hadoop2.6.5高可用集群搭建
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3, m4, m5这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 192.168.179.204: m4 192.168.179.原创 2017-02-20 16:21:41 · 1548 阅读 · 2 评论 -
Spark on Yarn集群高可用搭建
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 09:31:58 · 1889 阅读 · 0 评论 -
Linux常见问题
问题1:CenOS6.7无法上网解决方法: (该解决方法是设置为NAT模式)1.将网络连接模式设置成NAT模式,不能设置成仅主机模式2.查看IP网段与网关网段是否一致, 如果不一致:将IP网段设置成与网管网段一致3.将ONBOOT设置成yes4.将网关设置成与非虚拟机不同的网关地址, 如:非虚拟机地址为192.168.179.1,那么虚拟机的地址应改为192.168.179.2(除192.16原创 2017-02-21 14:10:35 · 881 阅读 · 0 评论 -
Hive扩展功能(九)--Hive的行级更新操作(Update)
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这三部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 12:34:03 · 2862 阅读 · 0 评论 -
Hive扩展功能(八)--表的索引
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这三部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 12:29:07 · 655 阅读 · 0 评论 -
搭建Hadoop所遇过的坑
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 10:19:57 · 483 阅读 · 0 评论 -
Hive扩展功能(七)--Hive On Spark
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 12:03:42 · 495 阅读 · 0 评论 -
Hive扩展功能(六)--HPL/SQL(可使用存储过程)
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 11:50:34 · 1180 阅读 · 0 评论 -
Hive扩展功能(五)--HiveServer2服务高可用
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 11:47:50 · 462 阅读 · 0 评论 -
Hive扩展功能(四)--HiveServer2服务
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 11:43:07 · 369 阅读 · 0 评论 -
Hive扩展功能(三)--使用UDF函数将Hive中的数据插入MySQL中
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 11:38:25 · 422 阅读 · 0 评论 -
Hive扩展功能(二)--HWI接口
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 11:33:28 · 348 阅读 · 0 评论 -
Hive扩展功能(一)--Parquet
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 11:30:33 · 633 阅读 · 0 评论 -
搭建Hive所遇过的坑
一.基本功能:1.启动hive时报错java.lang.ExceptionInInitializerError at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:190) at org.apache.hadoop.hive.ql.stats.jdbc.J原创 2017-02-21 11:27:05 · 8676 阅读 · 1 评论 -
搭建Spark所遇过的坑
一.经验1.Spark Streaming包含三种计算模式:nonstate .stateful .window2.kafka可通过配置文件使用自带的zookeeper集群3.Spark一切操作归根结底是对RDD的操作4.部署Spark任务,不用拷贝整个架包,只需拷贝被修改的文件,然后在目标服务器上编译打包。5.kafka的log.dirs不要设置成/tmp下的目录,貌似tmp目录有文件数和磁盘容量原创 2017-02-21 10:36:12 · 3195 阅读 · 1 评论 -
Hive2.1.1集群搭建
软件环境:linux系统: CentOS6.7Hadoop版本: 2.6.5zookeeper版本: 3.4.8主机配置:一共m1, m2, m3这五部机, 每部主机的用户名都为centos192.168.179.201: m1 192.168.179.202: m2 192.168.179.203: m3 m1: Zookeeper, Namenode, DataNode, Resourc原创 2017-02-21 10:00:45 · 460 阅读 · 0 评论