已解决问题
刘s泽
随便写写
展开
-
MYSQL last_insert_id()函数
last_insert_id()函数的返回值不是基于整个数据库的插入语,而是基于单个连接客户端之间所执行的insert语句最近一条,而且客户端之间是不会影响的,它是连接级别的函数,只对当前用户的连接有效。在MySQL中,使用auto_increment类型的id字段作为表的主键。通常的做法,是通过“select max(id) from tablename”的做法,但是显然这种做法需要考虑并发...转载 2020-04-15 11:50:07 · 439 阅读 · 1 评论 -
(转载)昨天你用的 YYYY-MM-dd 被同事锤了吗?
转载链接:https://www.jianshu.com/p/b6b84980b1b9问题表现问题原因YYYY是week-based-year,表示:当天所在的周属于的年份,一周从周日开始,周六结束,只要本周跨年,那么这周就算入下一年。所以2019年12月31日那天在这种表述方式下就已经 2020 年了。而当使用yyyy的时候,就还是 2019 年。相关说明https://docs.o...转载 2020-03-03 11:10:05 · 277 阅读 · 0 评论 -
auto.offset.reset值含义解释
auto.offset.reset值含义解释earliest 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费 latest 当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据 none topic各分区都存在已提交的offset时,从offset后开始消费;只要有一...转载 2019-07-17 17:22:55 · 560 阅读 · 0 评论 -
hive创建分区表
源文件中 要删除ymd1.创建分区表CREATE TABLE temp (pile smallint,mp smallint,carownerint,hmsint ) partitioned by (ymd` int)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ‘\t’STORED AS parquet;2.加载数据,用sparksqli...原创 2019-07-04 17:19:08 · 5914 阅读 · 0 评论 -
windows下设置hadoop用户
System.setProperty("HADOOP_USER_NAME", "zkpk")System.setProperty("user.name", "zkpk")原创 2019-07-09 11:02:28 · 2781 阅读 · 2 评论 -
spark sql修改一列中为null的值改成1
sparksql中用nvl来判断并替换null如:spark.sql("select nvl(age,20) from tableA")会将age列中为null的替换为20原创 2019-05-23 16:46:34 · 5865 阅读 · 1 评论 -
azkaban启动
1.进入到azkaban的server根目录中启动:bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out&2.启动executor:bin/azkaban-executor-start.sh原创 2019-05-05 09:16:44 · 1861 阅读 · 0 评论 -
Crontab定时执行linux命令
一、脚本执行要用到java或其他环境变量时,通过source命令引入环境变量,脚本为:#!/bin/shsource /etc/profileexport RUN_CONF=/home/d139/conf/platform/cbp/cbp_jboss.conf/usr/local/jboss-4.0.5/bin/run.sh -c mev &当手动能执行脚本,但是crontab...转载 2018-12-11 19:59:35 · 179 阅读 · 0 评论 -
mysql存储过程增删查,简单使用
一、创建存储过程无参数:delimiter // create procedure A() begin select * from tablName; end//delimiter ;调用存储过程 call A;以表名为参数 delimiter // create procedure B(in tablName varchar(250)) ...原创 2018-12-15 09:59:51 · 307 阅读 · 0 评论 -
将mysql中的数据导入到hdfs,spark程序实现
程序为:import org.apache.spark.sql.SparkSessionobject import_data { def main(args: Array[String]): Unit = { val spark = SparkSession .builder() .appName("MysqlDemo") .master("lo...原创 2018-12-06 14:14:59 · 2202 阅读 · 0 评论 -
linux常用命令
1.passwd:root下更改linux普通用户密码2.hdfs getconf -confKey fs.default.name:查看hdfs提交地址3.关闭防火墙service iptables stopchkconfig iptables offservice iptables status4.。。。。。...原创 2018-11-21 15:49:24 · 106 阅读 · 0 评论 -
idea打jar包与spark-submit提交集群
一、idea打包1.project Structure中选择Aritifacts2.选择+号新建一个要打的jar包删除除了 compile output之外的集群中已经存在的jar包,除非引入了集群中不存在的jar包3.选择设置主类,再build->build Aritifacts即可二、spark-submin提交集群命令使用yarn管理集群资源:spark-submit -...原创 2018-11-21 15:50:01 · 600 阅读 · 0 评论 -
sqoop使用过程中报错java.lang. InterruptedException
sqoop使用中报错:查找网上资料为sqoop使用中的bug,测试结果不会受到影响。原创 2018-11-21 15:50:17 · 1738 阅读 · 0 评论 -
sqoop从hdfs导出到mysql中
启动命令为:sqoop export --connect jdbc:mysql://master:3306/test --username root --P --table wordCount --export-dir /b.txt/part* -m 1 --fields-terminated-by ’ ’发现执行任务总是失败,后经过查看原始数据为:(a,1)(b,1)更改程序使最终结果...原创 2018-11-21 15:49:45 · 495 阅读 · 1 评论 -
spark编程笔记wholeTextFiles使用\n作为分隔符
spark程序:val word=sc.wholeTextFiles(“E:\new 1.txt”)word.flatMap(_.2.split("\n")) .map(x=&原创 2018-11-21 15:48:42 · 1165 阅读 · 0 评论