天天臭乐呵

配置情况：一台cm Server（使用Mysql）一台CM agent一台CDH主机停止各种cdh及cm的服务1、界面上直接停止cluster集群2、停止CM server及其agent./cm-5.14.1/etc/init.d/cloudera-scm-server stop./cm-5.14.1/etc/init.d/cloudera-scm-agent stop执行stop命令后查看进程是...

(tip:将select * from sq_dim_city，替换为需要导出的查询sql即可,分割符号可以自选)参数说明：　　• -q query （--query=query） 从命令行执行查询，不进入impala-shell　　• -d default_db （--database=default_db） 指定数据库　　• -B（--delimited）去格式化输出　　• --ou...

原因是oozie的/var/lib/oozie目录里缺少EXT的包点击Documentation链接里quickstart给出了解决方案其中特别需要注意的一点是Ext包必须是2.2版本的，高了或低了都不行因为tomcat服务器目录下的软链接ext-2.2是指向/var/lib/oozie/ext-2.2的所以版本一定不能错2 解决方法把下载好的ext-2.2.zip拷贝到Oozie主机的/var/...

解决方法：将mysql-connector-java.jar上传到hdfs：/user/oozie/share/lib/lib_timstamp/sqoop重启oozie服务。

报错如下：INFO : Cleaning up the staging area /data/user/hive/.staging/job_1530585043265_0202ERROR : Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission den...

sqoop从mysql导入到hive的命令如下：sqoop import --connect jdbc:mysql://serveraddress:3306/test  --username root --password pwd123456  --query "select * from user where  \$CONDITIONS" --hive-table hiveuser --hive...

在默认的日志级别情况下，是不能将DEBUG信息输出的，这样一来出现的各种详细的错误信息都看不到。我们可以通过以下两种方式修改log4j输出的日志级别，从而利用这些调试日志进行错误定位，具体做法如下：  $ hive --hiveconf hive.root.logger=DEBUG,console （hive启动时用该命令替代）或者在${HIVE_HOME}/conf/hive-log4j.pro...

下载地址：http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.14.2.tar.gz 将tar包上传到服务器:$ mkdir /tmp/ooziesharelib$ cd /tmp/ooziesharelib$ tar -zxvf oozie-4.1.0-cdh5.14.2.tar.gz$ cd oozie-4.1...

问题：[root@elcndc2zndd02 ~]# oozie admin -shareliblistjava.lang.IllegalArgumentException: Oozie URL is not available neither in command option or in the environment at org.apache.oozie.cli.Oozi...

创建目录sqoop，以下所有目录和文件都放在sqoop目录下。1.创建目录lib，拷贝msql的jar包到该目录mysql-connector-java.jar2.job.properties文件内容如下：nameNode=hdfs://ip-150:8020jobTracker=ip-150:8032queueName=defaultoozieappsRoot=use...

参考：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.htmlFS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文...

错误日志如下：这是资源不足的问题，调整yarn的如下参数：yarn.nodemanager.resource.cpu-vcores#最大容器内存yarn.scheduler.maximum-allocation-mb 调整后重启yarn即可。 ...

在hive环境下输入以下命令：hive> show create table ecej_md_company;OKCREATE TABLE `md_company`( `company_id` int, `update_user` int, `merchant_id` string, `company_attribute` tinyint)COMMENT 'Import...

cloudera-scm-agent/process/169-hue-HUE_LOAD_BALANCER/httpd.conf: Cannot load /usr/lib64/httpd/modules/mod_ssl.so into server: /usr/lib64/httpd/modules/mod_ssl.so: cannot open shared object file: No su...

异常提示： ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop:8020/user/root/output already exists解决方案：这是因为每次MR都会生成一个output目录但是不能自动删除，...

问题1：java.lang.ClassNotFoundException: org.json.JSONObject错误16/06/07 08:49:01 WARN manager.MySQLManager: It looks like you are importing from mysql.16/06/07 08:49:01 WARN manager.MySQLManager: This tr...

执行如下命令时让输入db的密码：sqoop job --exec jobname在sqoop-site.xml 文件中设置：sqoop.metastore.client.record.password=true sqoop-site.xml的位置：${SQOOP_HOME}/conf下面，例如：/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/l...

参考官方文档：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_c.html

修改表的语句允许改变现有表的结构，通过该语句可以增加列/分区，修改SerDe，增加表和SerDe的属性或者重命名表。与之类似，修改分区的语句可以改变指定分区的属性。重命名表重命名表的语句如下： ALTER TABLE table_name RENAME TO new_table_name 修改表属性修改表属性的语句如下： ALTER TABLE table_...