2018年05月_yyf960126

转载 SPARK-SQL内置函数之时间日期类

转载请注明转自：http://www.cnblogs.com/feiyumo/p/8760846.html一、获取当前时间1.current_date获取当前日期2018-04-092.current_timestamp/now()获取当前时间2018-04-09 15:20:49.247二、从日期时间中提取字段 1.year,month,day/dayofmonth,hour,minute,se...

2018-05-30 16:33:15 4088

转载 pycharm永久破解

转载：https://blog.csdn.net/u011324501/article/details/791139191、网上下载JetbrainsCrack-2.6.10-release-enc.jar2、下载上面文件放到bin路径下 D:\pyhon\PyCharm 2017.2.4\bin 3、修改两个vmoptions后缀名的文件内容，分别在后面添加 -javaagent:D:\pyho...

2018-05-21 20:52:14 344

转载 Storm中的一些概念改

转载：https://blog.csdn.net/universe_ant/article/details/527110361、元组（Tuple）元组（Tuple），是消息传递（拓扑topology）的基本单元，是一个命名的值列表，元组中的字段可以是任何类型的对象。Storm使用元组作为其数据模型，元组支持所有的基本类型、字符串和字节数组作为字段值，只要实现类型的序列化接口就可以使用该类型的对象。...

2018-05-18 15:56:05 281

转载 @RequestBody和@RequestParam区别（转）

转载自https://blog.csdn.net/xinluke/article/details/52710706@RequestParam用来处理Content-Type: 为 application/x-www-form-urlencoded编码的内容。（Http协议中，如果不指定Content-Type，则默认传递的参数就是application/x-www-form-urlencoded类...

2018-05-18 14:19:32 1763

原创 kafka单机重启，topic丢失问题特别弱智的错误

因为放在了独立的zookeeper中，我却启动的是kafka自带的zookeeper1.启动kafka自带zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 2.启动独立的zookeeper 切换到zookeeper-3.4.6目录下bin/zkServer.sh start conf/zoo_sample.cfg...

2018-05-17 14:56:04 3414

转载 idea打包jar的多种方式

转载自博库园http://www.cnblogs.com/qifengshi/p/6036870.html这里总结出用IDEA打包jar包的多种方式，以后的项目打包Jar包可以参考如下形式：用IDEA自带的打包形式用Maven插件maven-shade-plugin打包用Maven插件maven-assembly-plugin打包用IDEA自带的打包方式：打开IDEA的file -> Pro...

2018-05-16 22:54:47 374

转载【intellij idea】Project Structure 讲解（转载）

转载自博客园 https://www.cnblogs.com/zadomn0920/p/6196962.html项目的左侧面板项目设置->Project Project Settings -> ModulesSources面板 Paths面板dependencies面板 Project Settings - > Libraries Project Settings - ...

2018-05-16 22:27:25 1389

原创 SparkSql——jdbc两种连接和转储表的方式

package spark.SparkSqlimport java.util.Propertiesimport org.apache.spark.sql.SparkSessionobject sparkSql3 { def main(args: Array[String]): Unit = { val spark = SparkSession.builder().mast...

2018-05-16 08:16:11 420

原创 SparkSql——读文件写文件(二)

//保存文件夹的类型**********save（）里面是文件夹的路径****************下面这些也是控制文件夹怎么放的方式 //SaveMode.ErrorIfExists （默认） "error" or "errorifexists" （默认）将DataFrame保存到数据源时，如果数据已经存在，则预计会抛出异常。 // SaveMode.Appen...

2018-05-14 14:49:35 2085

原创 SparkSql——读文件写文件(一)

package spark.SparkSqlimport org.apache.spark.sql.SparkSessionobject SparkSql2 { def main(args: Array[String]): Unit = { //创建sqlSession val spark = SparkSession.builder().master("local[3...

2018-05-13 23:05:23 3063

原创 SparkSql——自定义Schema

package spark.testimport org.apache.spark.sql.{SparkSession,Row}import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}object customSchemaTest { def main(args: Ar...

2018-05-12 19:57:27 2472

转载 hadoop接口（转）

点击打开链接hadoop系统部署时用到不少端口。有的是Web UI所使用的，有的是内部通信所使用的，有的是监控所使用的。实际系统中可能用于防火墙的端口设计。一些内部通信用的端口可能也需要外部能访问。如两个集群的数据对拷。1.系统8080，80 用于tomcat和apache的端口。22 ssh的端口2.Web UI用于访问和监控Hadoop系统运行状态Daemon缺省端口配置参数HDFSNamen...

2018-05-10 10:29:00 1333

翻译关于java.text.SimpleDateFormat年月日的格式在Javaapi中的解释

SimpleDateFormat 是一个以与语言环境有关的方式来格式化和解析日期的具体类。它允许进行格式化（日期 -> 文本）、解析（文本 -> 日期）和规范化。 SimpleDateFormat 使得可以选择任何用户定义的日期-时间格式的模式。但是，仍然建议通过 DateFormat 中的 getTimeInstance、getDateInstance 或 getDateTimeIn...

2018-05-08 14:51:22 1726

yyf960126的博客