2019年11月_木凡空

12月 11月 10月 09月

原创 MySQL查询表结果插入另一张表

查询b表数据，然后插入a表1、表结构一样insert into a select * from b;2、表结构不一样insert into a (name,age,address) select user_name,user_age,user_address from b;...

2019-11-29 12:49:43 391

原创 Spark中如何使saveAsTextFile只生成一个文件

一般来说，saveAsTextFile是根据执行task的数量生成相应个数的结果文件，例如part-00000一直到part-0000n，n是task的个数，也是最后stage的分区数。要使最后的结果只生成一个文件，可以调用coalesce(1,true)或reparation(1)。repartition(numPartitions:Int):RDD[T...

2019-11-25 15:58:02 2151

原创 Spark查询Hive表

Scala版本：2.10Spark版本：1.6.01、引入依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.10</artifactId> <version>1.6.0</versi...

2019-11-25 15:01:29 1263

原创 rsync同步文件、目录

1、从111.222.333.444同步文件test.log到555.666.777.888的/tmp目录 rsync test.log 555.666.777.888:/tmp/2、从111.222.333.444同步目录/data/hive到555.666.777.888的/tmp目录 rsync -r/data/hive555.666.777.88...

2019-11-24 10:18:36 565

原创退出spark-shell

退出命令 :quit

2019-11-24 09:56:08 1796

原创 yum更新软件源

1.清空软件源 yum clean all2、建立源数据缓存 yum makecache3、更新系统以及内核 yum upgrade

2019-11-23 23:30:04 1457

原创 Hadoop所有dataNode信息为0

其中之一可能是防火墙问题，关闭防火墙 systemctl stop firewalld

2019-11-23 22:51:36 518

原创 awk打印列数

1、打印每一行的列数awk -F '\t' '{print NF,$0}' test.log

2019-11-20 16:53:47 6081

原创 SparkSQL简单示例

Scala版本：Scala version 2.10.5Spark版本：Spark version2.1.0import org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext}object DataFrameTest { def main(args:Array[Stri...

2019-11-19 17:52:33 200

原创 rsync免密同步文件

从111.222.333.444同步文件/data/test.log文件到555.666.777.888的/tmp/all目录下1、修改555.666.777.888的/etc/rsyncd.conf文件，添加[data_rsync_dir] path=/tmp/all hosts allow=111.222.333.444 hosts deny=0.0.0.0...

2019-11-18 16:29:19 167

原创获取select标签选中的value、text

1、获取select的value值 $('#text').val()2、获取select的text值 $('#text').find("option:selected").val()

2019-11-18 09:59:45 290

原创 Yarn查看jobs日志

yarn logs -applicationId application_1553888952013_341399 > yarn.log

2019-11-14 12:02:07 431

原创 SpringBoot打印HttpServletRequest的所有参数

Map<String, String[]> map = request.getParameterMap();Set<Map.Entry<String, String[]>> keys = map.entrySet();Iterator<Map.Entry<String, String[]>> it = keys.iterator()...

2019-11-14 11:19:40 3326

原创 Linux永久修改主机名

1、临时修改主机名--hostname命令如修改主机名为“master”，hostname master（临时修改，机器重新启动后会恢复原来的值）2、永久修改主机名--修改/etc/sysconfig/network文件vim命令修改network文件内容，如“HOSTNAME=master”...

2019-11-12 17:20:00 815

原创 Mysql常用字符串函数

1、concat(s1,s2，...) 返回连接参数产生的字符串，一个或多个待拼接的内容，任意一个为NULL则返回值为NULL。2、concat_ws(x,s1,s2,...) 返回多个字符串拼接之后的字符串，每个字符串之间有一个x。3、substring(s,n,len)、mid(s,n,len) 作用相同，都是从字符串s中返回一个第n个字符开始、长度为len的字...

2019-11-05 11:15:22 64