oracle:
sqoop import --append --connect jdbc:oracle:thin:@10.20.128.227:1526:d0p2ppd --username P2PPDATA --password rmgs5678 --target-dir /hadoop/data/oracle/rmgs_loan_cust_audit_result/ --num-mappers 1 --table RMGS_LOAN_CUST_AUDIT_RESULT --fields-terminated-by '\t';
yarn-client或者local模式
spark-submit --master yarn-client --name AllJob /home/hadoop/dap_etl.jar
spark-sql --master yarn-client --jars $(echo /home/hadoop/mongo-*.jar |tr ' ' ',')
启动远程调试模式:
spark-submit --master yarn-client --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" --name AllJob /home/hadoop/dap_etl.jar
yarn-cluster模式
spark-submit --master yarn-cluster --name AllJob --files /usr/local/spark/conf/hive-site.xml --jars /usr/local/spark/lib/datanucleus-api-jdo-3.2.6.jar,/usr/local/spark/lib/datanucleus-core-3.2.10.jar,/usr/local/spark/lib/datanucleus-rdbms-3.2.9.jar,/usr/local/spark/lib/mysql-connector-java-5.1.32-5.1.32.jar /home/hadoop/dap_etl.jar
mysql 操作:
启动
1、使用 service 启动:service mysqld start
2、使用 mysqld 脚本启动:/etc/inint.d/mysqld start
3、使用 safe_mysqld 启动:safe_mysqld&
停止
1、使用 service 启动:service mysqld stop
2、使用 mysqld 脚本启动:/etc/inint.d/mysqld stop
3、mysqladmin shutdown
重启
1、使用 service 启动:servic e mysqld restart
2、使用 mysqld 脚本启动:/etc/inint.d/mysqld restart
mysql –u用户名 [–h主机名或者IP地址] –p密码
hadoop 操作
hdfs namenode -bootstrapStandby standby的namenode同步active的namenode的信息
hdfs zkfc -formatZK namenode向zookeeper注册信息
${hadoop.tmp.dir}的目录权限要提供节点的用户读写权限
hadoop-env.sh中的${JAVA_HOME}有可能无法识别,需要写上绝对路径
hdfs haadmin -failover nn1 nn2 完成nn1向nn2的failover热备切换 ,注意顺序(推荐)
hadoop fsck /user/part-001 -files -blocks -racks 查看文件块数量信息
hive 操作可能遇到的问题:
schematool -initSchema -dbType mysql -userName hive -passWord 'hive123' -verbose 初始化的时候如果不是使用默认的用户名和密码,一定要指定。
hive --service metastore & 启动metastore
hive --service hiveserver2 & 启动hiveserver服务
hive -hiveconf hive.root.logger=DEBUG,console hive.execution.engine=spark 启动hive的debug日志查看信息
mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/lib64/ -Dbundle.snappy 编译。
sqoop import --append --connect jdbc:oracle:thin:@10.20.128.227:1526:d0p2ppd --username P2PPDATA --password rmgs5678 --target-dir /hadoop/data/oracle/rmgs_loan_cust_audit_result/ --num-mappers 1 --table RMGS_LOAN_CUST_AUDIT_RESULT --fields-terminated-by '\t';
yarn-client或者local模式
spark-submit --master yarn-client --name AllJob /home/hadoop/dap_etl.jar
spark-sql --master yarn-client --jars $(echo /home/hadoop/mongo-*.jar |tr ' ' ',')
启动远程调试模式:
spark-submit --master yarn-client --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888" --name AllJob /home/hadoop/dap_etl.jar
yarn-cluster模式
spark-submit --master yarn-cluster --name AllJob --files /usr/local/spark/conf/hive-site.xml --jars /usr/local/spark/lib/datanucleus-api-jdo-3.2.6.jar,/usr/local/spark/lib/datanucleus-core-3.2.10.jar,/usr/local/spark/lib/datanucleus-rdbms-3.2.9.jar,/usr/local/spark/lib/mysql-connector-java-5.1.32-5.1.32.jar /home/hadoop/dap_etl.jar
mysql 操作:
启动
1、使用 service 启动:service mysqld start
2、使用 mysqld 脚本启动:/etc/inint.d/mysqld start
3、使用 safe_mysqld 启动:safe_mysqld&
停止
1、使用 service 启动:service mysqld stop
2、使用 mysqld 脚本启动:/etc/inint.d/mysqld stop
3、mysqladmin shutdown
重启
1、使用 service 启动:servic e mysqld restart
2、使用 mysqld 脚本启动:/etc/inint.d/mysqld restart
mysql –u用户名 [–h主机名或者IP地址] –p密码
hadoop 操作
hdfs namenode -bootstrapStandby standby的namenode同步active的namenode的信息
hdfs zkfc -formatZK namenode向zookeeper注册信息
${hadoop.tmp.dir}的目录权限要提供节点的用户读写权限
hadoop-env.sh中的${JAVA_HOME}有可能无法识别,需要写上绝对路径
hdfs haadmin -failover nn1 nn2 完成nn1向nn2的failover热备切换 ,注意顺序(推荐)
hdfs haadmin -transitionToActive nn1 热备切换(不推荐)
hdfs haadmin -getServiceState nn1 查看namenode是active还是standby状态
hadoop fsck /user/part-001 -files -blocks -racks 查看文件块数量信息
hive 操作可能遇到的问题:
schematool -initSchema -dbType mysql -userName hive -passWord 'hive123' -verbose 初始化的时候如果不是使用默认的用户名和密码,一定要指定。
hive --service metastore & 启动metastore
hive --service hiveserver2 & 启动hiveserver服务
hive -hiveconf hive.root.logger=DEBUG,console hive.execution.engine=spark 启动hive的debug日志查看信息
mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/lib64/ -Dbundle.snappy 编译。