大数据
文章平均质量分 53
魏大宾
这个作者很懒,什么都没留下…
展开
-
CentOS7.2下Hadoop2.7.2的集群搭建
1.基本环境:操作系统: Centos 7.2.1511三台虚机: 192.168.163.224 master 192.168.163.225 node1 192.168.163.226 node2软件包 hadoop-2.7.2.tar.gz jdk-7u79-linux-x64.转载 2017-08-26 18:02:14 · 320 阅读 · 0 评论 -
hive报错: Specified key was too long; max key length is 767 bytes(详解!!!)
这篇文章将hive的报错还是比较清楚的。 还是一句老话,菜鸡一只,如果有说错的地方,请大家海涵!!~也希望能够批评指出,让小弟能够学习到更多东西~废话不多说,报错如下:DataNucleus.Datastore (Log4JLogger.java:error(115)) - An exception was thrown while adding/validating class...转载 2018-12-20 15:16:14 · 452 阅读 · 0 评论 -
UrlConnection 请求乱码的解决办法
原先的代码如下:public class GetMessage{ private static final String v_url = ""; public static String getPostInfo(String v_methodname, String v_urlparam) throws IOException { PrintWriter out =...转载 2018-06-13 10:11:03 · 1434 阅读 · 2 评论 -
Hadoop 参数 mapred.map.child.java.opts
最近发现Hadoop Job集群的load非常高,最后发现是mapred.child.java.opts设置过大导致的,我们当初设置为-Xmx5120导致TaskTracker上内存资源耗尽,进而开始不断swap磁盘上数据,load升高 在执行一个Task的时候,首先会根据JobConf中设定的JVM参数写入一个taskjvm.sh文件中,然后调用Linux命令 bin/bash -c taskj...转载 2018-05-07 10:59:38 · 1043 阅读 · 0 评论 -
java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read
环境:- Spark 2.11-2.0.2- Hadoop 2.6.5使用Spark连接HDFS,在高并发的时候,偶尔会遇到以下异常:[plain] view plain copy2017-01-26 10:30:29,079 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: xxx:50010:DataXceiver error pro...转载 2018-04-25 14:05:11 · 12249 阅读 · 3 评论 -
初次启动hive,解决 ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No su
刚刚安装好hive,进行第一次启动提君博客原创[hadoop@ltt1 bin]$ ./hivels: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directorywhich: no hbase in (/home/hadoop/hive110/b...转载 2018-04-23 10:49:50 · 4894 阅读 · 0 评论 -
Hive安装配置指北(含Hive Metastore详解)
这篇文章对Metastore的讲解还是比较清楚的。Hive安装配置指北(含Hive Metastore详解)个人主页: http://www.linbingdong.com本文介绍Hive安装配置的整个过程,包括MySQL、Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章,但是理解都不对,给读者造成了...转载 2018-03-12 13:49:17 · 449 阅读 · 0 评论 -
Hbase学习1_CentOS6.5下Hbase1.1.2安装
经试验此教程在centos 7.2+hadoop2.7.2+hbase1.1.13下可以使用Hbase一、安装Hbase在两台虚拟机Master和Slave1上安装Hbase所需条件:Hadoop和Zookeeper集群安装完成Root用户下操作1、解压安装将hbase-1.1.2-bin.tar.gz拿U盘复制到/home/hadoop目录转载 2018-01-09 14:44:08 · 1119 阅读 · 0 评论 -
hive 数据体系构建与应用的使用过程
1,关闭防火墙。2,挂载硬盘(确定硬盘的大小是够用的)。3,设置网络。4,增加用户。5,安装hadoop。6,安装hive。7,安装sqoop。8,创建数据表。9,数据导入。原创 2017-10-16 10:54:20 · 226 阅读 · 0 评论 -
sqoop 导入hive分区表的方法
创建表CREATE TABLE `YDDT` ( `ID` string, `YDJC_ID` string, `YDDT_DATA_TYPE` string, `YDDT_BUSSINESS_NOW` bigint, `YDDT_USER_NOW` bigint, `YDDT_COLLECT_TIME` string, `YDDT_CREATOR`原创 2017-10-10 14:54:05 · 7147 阅读 · 0 评论 -
sqoop增量数据导入hive表的方法
数据表的创建样例:CREATE TABLE `YDDT` ( `ID` string, `YDJC_ID` string, `YDDT_DATA_TYPE` string, `YDDT_BUSSINESS_NOW` bigint, `YDDT_USER_NOW` bigint, `YDDT_COLLECT_TIME` string, `YDDT_CRE原创 2017-09-28 14:48:48 · 1175 阅读 · 0 评论 -
cent6.5 设置open_files max_user_processes
cent6.5 设置单用户的open_files 和max_user_processes的方法如下: vi /etc/security/limits.conf 增加如下配置:root hard nproc 10000root soft nproc 10000root hard nof...原创 2018-12-11 15:27:36 · 454 阅读 · 0 评论