自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

小海的专栏

不知道未来会是什么样子,虽然我依然在这条路上走着...

原创 NoClassDefFoundError: com/teradata/jdbc/jdk6/JDK6_SQL_ResultSetMetaData解决办法

环境:TD:Teradata15.00.02.08CDH:CDH5.13.020/07/16 05:16:15 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.13.020/07/16 05:16:15 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.20/07/16 05:

2020-07-16 21:56:17 34

原创 cloudera manager识别parcel校验文件.sha文件不正确会导致parcel识别不了的问题

有时会出现在更多选项里面无论怎么配置,parcel文件始终无法识别,推测原因可能是sha校验文件不正确导致的。解决办法:重新生成一个sha文件执行:sha1sum CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel | cut -d ' ' -f 1 > CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha...

2019-12-31 16:39:55 526

原创 Centos7.5安装mysql5.7.28rpm包报错:postfix-2.10.1-6.el7.x86_64需要:libmysqlclien

执行:[root@public mysql]# yum localinstall mysql-community-common-5.7.28-1.el7.x86_64.rpm mysql-community-libs-5.7.28-1.el7.x86_64.rpm mysql-community-client-5.7.28-1.el7.x86_64.rpm mysql-community-s...

2019-12-31 11:20:59 943

原创 Sqoop --m(--num-mappers)参数使用及优化

Sqoop并行化是启多个map task实现的,-m(或--num-mappers)参数指定map task数,默认是四个。当指定为1时,可以不用设置split-by参数,不指定num-mappers时,默认为4,当不指定或者num-mappers大于1时,需要指定split-by参数。并行度不是设置的越大越好,map task的启动和销毁都会消耗资源,而且过多的数据库连接对数据库本身也会造成压...

2019-11-14 14:42:18 1061

原创 idea中maven项目遇到pom文件jar包不能下载解决方式

在做graphframes开发过程中遇到pom文件不能下载:<!-- https://mvnrepository.com/artifact/graphframes/graphframes --><dependency>    <groupId>graphframes</groupId>    <artifactId>graphframes...

2018-05-30 15:57:42 7372

转载 windows10安装scala出现报错"不应有 \scala\bin\scala.bat"问题解决

安装完毕,配置完换进变量,在dos命令行输入:>scala    报错:“此时不应有 \scala\bin\scala.bat”问题原因:出现上述问题,说明你的PATH与SCALA_HOME都设置正确了,但是可能由于scala尚不完善,这个问题的原因是因为你的安装目录里边含有空格。查看一下你的安装目录,不论安装目录是在C盘还是D盘,默认的都是安装在”Program Files (x86)“与...

2018-05-29 18:10:33 1381

转载 Pycharm 的python console 启动'PyDevTerminalInteractiveShell' object has no attribute 'has_readline'

python启动后报错:AttributeError: 'PyDevTerminalInteractiveShell' object has no attribute 'has_readline'这个问题源于pycharm version>2016.1与ipython version 5冲突。 解决方法: 将文件pydev_ipython_console_011.py(提取密码:cbv8) ...

2018-05-28 17:23:20 640

转载 VMware14 黑屏

vmware workstation 10升级到vmware workstation 14,发现所有虚拟机打开都黑屏,那么请按照以下方法执行;命令:netsh winsock reset作用:重置winsock网络规范输入命令方法:打开cmd,选择以管理员身份运行。输入:netsh winsock reset运行成功后重启电脑。

2017-12-05 14:31:15 625

原创 sqoop /user/local/jdk1.8.0_131/bin/java:No such file or directory.........

执行sqoop导数到hive的时候报错sqoop xxxx :UNsupported major.minor version 52.0,是jdk版本冲突(CDH默认安装的是jdk1.7),改掉环境变量之后(将jdk1.8环境变量删除,目录删除)又报错:/user/local/jdk1.8.0_131/bin/java:No such file or directory.........原因

2017-11-22 16:41:42 4497

原创 Check that mysqld is running and that the socket: '/tmp/mysql.sock' exists!

[root@datanode01 bin]# /usr/local/mysql/bin/mysqladmin -u root password 'root'/usr/local/mysql/bin/mysqladmin: connect to server at 'localhost' failederror: 'Can't connect to local MySQL server th

2017-11-22 16:14:53 8959 1

原创 ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)

MySQL启动报错:ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)解决:ln -s /usr/local/mysql/mysql.sock /tmp/mysql.sock

2017-11-22 16:13:16 278

原创 log-error set to '/usr/local/mysql/log/mysqld.log', however file don't exists

mysql启动报错:Starting MySQL.171106 00:55:53 mysqld_safe error: log-error set to '/usr/local/mysql/log/mysqld.log', however file don't exists. Create writable for user 'mysql'.解决:mkdir /us

2017-11-22 16:11:32 12587

原创 sqoop xxxx :UNsupported major.minor version 52.0

在执行sqoop导出某表数据到hive的时候报错:Error xxxx :UNsupported major.minor version 52.0问题原因:出现该问题是由于cloudera manager和系统的jdk版本不一致导致的,更具体点是cm使用的是低版本的jdk1.7,而操作系统后来又装的版本是高版本的jdk1.8,由于sqoop会自动生成代码并编译程jar然后提交给

2017-11-13 23:37:59 986

原创 sqoop No columns to generate for ClassWriter

在执行sqoop从oracle导出数据到hive时报错:No columns to generate for ClassWriter问题原因:oracle数据库的IP/用户名/密码/数据库名称 错误导致连接不上。

2017-11-13 23:31:22 3608

原创 sqoop could not load db driver class:oracle.jdbc.OracleDriver

在使用sqoop从oracle导数到hive,报错:sqoop could not load db driver class:oracle.jdbc.OracleDriver解决:在安装sqoop server的节点上放oracle的驱动包/opt/cloudera/parcels/CDH/lib/sqoop/lib/ojdbc6.jar并且修改权限为777

2017-11-13 23:22:14 4120 1

原创 Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x

安装完CDH之后,启动Hbase失败,爆出以下错误:Unhandled exception. Starting shutdown.org.apache.hadoop.security.AccessControlException: Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr

2017-09-29 15:25:59 4607

原创 使用hive OPTION SQL_SELECT_LIMIT=DEFAULT

安装完CDH,使用hive的时候报错:FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:You have an error in your SQL s

2017-09-26 21:11:50 2037 3

转载 Linux CenterOS6/rhel6安装mysql-5.6.12-linux-glibc2.5-x86_64.tar.gz

Linux CenterOS6/rhel6 安装mysql-5.6.12-linux-glibc2.5-x86_64.tar.gzhttp://blog.csdn.net/liu_yulong/article/details/50172499

2017-09-26 13:41:10 458

转载 CentOS7使用firewalld打开关闭防火墙与端口

CentOS7使用firewalld打开关闭防火墙与端口http://www.cnblogs.com/moxiaoan/p/5683743.html

2017-09-22 10:22:01 391

原创 CentOS7下,在安装过mysql5.7后,安装cloudera-scm-server报错:Require:libmysqlclient.so.18(libmysqlclient_18)(64bit

CentOS7下,在安装过mysql5.7后,安装cloudera-scm-server报错:Require:libmysqlclient.so.18(libmysqlclient_18)(64bit)

2017-09-21 14:27:25 1461

原创 启动cloudera-scm-server报错:unable to load class [com.mysql.jdbc.Driver]

启动cloudera-scm-server时报错:

2017-09-21 11:52:06 1652

转载 linux下命令执行时间统计工具time使用小结

linux下命令执行时间统计工具time使用小结:http://blog.csdn.net/wangjianno2/article/details/50452919

2017-09-11 17:49:31 536

转载 Hadoop之为何不使用RAID

Hadoop之为何不使用RAID--http://www.cnblogs.com/Richardzhu/p/5315064.html

2017-09-11 15:08:37 269

原创 Hbase Table already exists:

CDH重新安装过之后,打开HBase shell,建表的时候报错:表已经存在;list查看,没有表;问题原因:由于在cloudera-manager管理页面上删除CDH集群的时候,默认不会删除zk的数据目录,因此数据依然存在;解决办法:打开zk客户端,  删除hbase表信息,解决。参考文章:http://www.cnblogs.com/superhedanto

2017-09-07 10:00:09 472

原创 Cannot create directory /tmp. Name node is in safe mode

CDH启动到HDFS时报错:页面报错:正在创建 HDFS /tmp 目录  命令 (1354) 已失败日志详细信息:PriviledgedActionException as:hdfs (auth:SIMPLE) cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create

2017-09-06 13:52:18 3220 1

转载 HBase1.2.3架构剖析(七)之 MOB

HBase1.2.3架构剖析(七)之 MOB-http://blog.csdn.net/duyuanhai/article/details/77854378

2017-09-05 17:57:12 625

转载 CDH5.X完全卸载步骤

CDH5.X完全卸载步骤——http://blog.csdn.net/wulantian/article/details/42706777

2017-09-05 17:55:43 589

转载 Hive限制

Hive限制——http://blog.csdn.net/xiaolang85/article/details/7860011

2017-09-05 17:54:13 220

原创 hive小文件问题及hive小文件合并

HDFS块的概念--http://www.cnblogs.com/zlslch/p/5081487.html关于 HDFS 的 file size 和 block size--http://blog.csdn.net/samhacker/article/details/23089157Hive小文件合并--http://blog.csdn.net/yycdaizi/ar

2017-09-05 17:27:09 1924

原创 win10 wifi密码修改

打开“网络和Internet设置”选择“WLAN”选择“管理已知网络”点击需要修改的网络点击“忘记”找到wifi图标,点击后找到你要连接的网络,重新连接即可

2017-09-05 09:56:14 546

原创 安装CDH组件的时候会多产生一个分组的原因

安装CDH组件的时候会多产生一个角色分组的原因

2017-09-04 16:33:34 637

原创 Redhat6.5-Python2.7及插件安装 # 1.修改环境变量 #echo '****** 1.修改PATH环境变量增加jdk1.7.0_65路径 *******' #echo ' # #

Redhat6.5-Python2.7及插件安装 # 1.修改环境变量#echo '****** 1.修改PATH环境变量增加jdk1.7.0_65路径*******'#echo '##export PATH=/JAVA/jdk1.7.0_65/bin:$PATH#' >> /etc/profile##source /etc/profile#echo '

2017-08-28 20:24:37 401

原创 cloudera安装过程报错:Your password does not satisfy the current policy requirements

安装cm的时候执行创建数据库:sudo sh  /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p scm scm scm,报错:Your password does not satisfy the current policy requirements报错原因:密码过于简单,不符合策略要求在网上找了:sele

2017-08-24 20:54:04 4842 1

转载 CDH5.11.0安装启动hive过程org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver

解决文章:http://blog.csdn.net/brotherdong90/article/details/49661731,通过Cloudera Manager添加Hive服务,在启动Hive的时候遇到错误:.org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver这种情况,猜测

2017-08-24 19:42:19 16998

转载 CDH5.11.0安装过程报错:Unable to verify database connection

CDH5.11.0安装过程报错:Unable to verify database connection问题原因是没有安装mysql-compat-libs包rpm -ivh mysql-community-libs-compat-5.7.12-1.el6.x86_64.rpm

2017-08-24 18:48:48 6319 3

转载 CentOS6.4安装MySQL5.7.12

推荐好文章:http://blog.csdn.net/liyf155/article/details/61419623

2017-08-23 14:15:01 221

转载 虚拟机VMware显示“内部错误”的解决方法

好文章:http://blog.csdn.net/qq_28779503/article/details/50616941虚拟机装在移动硬盘上,一不小心把数据线直接拔了,先是关不了虚拟机,在进程管理器把虚拟机进程全部杀死,重启VMware,打开虚拟机,结果出现同样问题,直接使用方法二解决。

2017-08-23 11:30:47 950

原创 Mysql5.7.14-linux版密码忘记解决办法

在/etc/my.conf文件中[mysqld] 下面最后增加一行:skip-grant-tables记住是[mysqld]下最后,不要增加到[mysqld_safe]下面保存之后,重启Mysql,在linux命令行直接执行:mysql回车OK修改密码:update mysql.user  set password=password('root') where

2017-07-31 17:07:53 304

原创 Python Linux上安装MYSQLdb

1、下载MySQL-python-1.2.3b1.tar.gz解压:tar  -zxvf  MySQL-python-1.2.3b1.tar.gz2、使用python setup.py build编译:Python setup.py build报错:mysql_config not found解决:whereis mysql/usr/lib64/mysql /usr

2017-07-25 12:33:36 1592

原创 sqoop 从oracle到hive数据错位,并产生很多null值,clob类型被截取成一小段一小段

1、在执行Sqoop从oracle和mysql导数到hive中时,出现hive数据错位,并产生很多null值:原因是源数据中包含许多'\n'、'\r'、'\01'等字符,表在分割字段和行过程中出现错位;解决方式:在Sqoop执行中增加属性–hive-drop-import-delims,在导入数据到hive中时,去掉数据中\n,\r和\01这样的字符;--hive-drop-imp

2017-07-24 21:14:03 2959

提示
确定要删除当前文章?
取消 删除