- 博客(19)
- 资源 (110)
- 收藏
- 关注
原创 Oracle PL/SQL 时间显示格式 NLS_TIMESTAMP_FORMAT
参考Oracle PL/SQL 时间显示格式 NLS_TIMESTAMP_FORMAT
2019-01-22 16:46:32 1137
原创 flume 之间数据流转
楔子flume监控日志文件 数据从had2 流转到had3had2 flume.comf# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = execa1.source...
2019-01-16 08:08:16 195
原创 Flume 几个例子
楔子最近看了看Flume,做个笔记,方便下次快速找到安装Flume 安装设置 配置文件flume-env.sh 的JAVA_HOME即可1.1 监听 端口数据Telnet localhost 44444 输入## fileName flume-telnet.conf#Name the components on this agenta1.sources = r1a1.sink...
2019-01-15 23:53:31 172
原创 PLSQL查询乱码
楔子学习笔记,做个总结PLSQL查询乱码select userenv('language') from dual -- 查看数据库默认编码--在环境变量添加"NLS_LANG"值改为"SIMPLIFIED CHINESE_CHINA.ZHS16GBK"或者"SIMPLIFIED CHINESE_CHINA.AL32UTF8"一般是 SIMPLIFIED CHINESE_CHI...
2019-01-14 17:19:28 341
原创 配置Nginx为系统服务
楔子学习笔记,看到一个配置Nginx为系统服务内容,之前都是直接使用 sbin/nginx 命令操作,对这个挺好奇,做个学习笔记。在/etc/rc.d/init.d/目录中建立文本文件nginx,内容如下,注意修改Nginx的 命令和 配置文件 的位置修改nginx文件的执行权限chmod +x nginx添加该文件到系统服务中chkconfig --add nginx查看是否添加...
2019-01-13 11:29:09 1052
原创 kafka简单学习
楔子kafka简单学习 基于kafka_2.10-0.8.2.2.tgz搭建基于3台虚拟机had2,had3,had4 上面均有zookeeperserver.properties配置下面3个属性broker.id=0# 三台机器依次是 0 1 2 log.dirs=/opt/kafka210/date/kafka-logszookeeper.connect=had2:2181...
2019-01-06 11:41:03 141
原创 Anaconda 仓库的镜像
楔子修改镜像参考conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/conda config --se...
2019-01-05 21:56:28 1164
原创 Spark 时间函数date_format
楔子读取json文件,但是时间2016-10-01 15:42:46 需要进行操作。使用spark SQL提供的时间函数官网参考demoprivate static void top(SparkSession sparkSession, Dataset<Row> logDS, Dataset<Row> userDataset) { String startTi...
2019-01-05 19:23:07 11589
原创 Spark 二次排序自定义key 实现(Java)
楔子spark java版本的二次排序实现数据如下2::42::103::61::5按照 第一列 和第二列 倒叙排列 实现如下的结果3::62::102::41::5demoGitHub 位置 的 SecondarySortKey.java 和SecondarySort.javaSpark中sortByKey实现算子对数据的Key排序。二次排序需要自定义ke...
2019-01-05 15:22:27 500
原创 Spark 广播变量
楔子spark 广播变量广播变量是第二种共享变量(另一个是累加器),广播变量可以让程序高效地向所有工作节点发送一个较大的只读值,以供一个多多个Spark操作使用。比如,如果应用需要向所有节点发送一个较大的只读查询表,甚至是机器学习算法中的一个很大的特征向量,使用广播变量非常方便。 Spark虽然会把闭包中所有引用到的变量发送到工作节点上。但是效率低。原因有二,1是默认的任务发射机制是...
2019-01-05 00:01:01 294
原创 Spark RDD电影(根据用户年龄段)分析——广播机制
楔子Spark 分析电影使用广播机制查找18岁喜爱的电影Top10。主要是广播机制的使用思路分为2部分:1 是广播 符合年龄的userid ,2是 求Top10第一部分过滤年龄 选取其中符合年龄的userid上述userid 抽取到list中,广播出去第二部分3. 电影转为key-value (电影id,电影名) 转为map4. 评分 转为 key-value ...
2019-01-04 23:30:09 643
原创 Spark RDD分析各种类型的最喜爱电影TopN技巧
楔子学习《spark大数据商业实战》第12章节通过RDD分析大数据电影点评系统各种类型的电影最喜爱电影TopN。本次分析最受男性(女性)喜爱的电影Top10里面复用了Spark RDD实现电影流行度分析思路因为要使用电影数据RDD,所以复用了Spark RDD实现电影流行度分析根据性别过滤数据要进行join 需要key-valuesjoin之后的数据(2828,((3793,...
2019-01-03 21:27:07 2488
原创 Spark RDD实现电影流行度分析
楔子学习《spark大数据商业实战》第12章节,统计所有电影平均得分最高的前10部电影数据说明数据下载 CSDN位置或者在此处下载详细github代码1:用户文件users.dat---------------------------------------UserID::Gender::Age::OccupationID::Zip-code用户id 性别M是男性 年龄 ...
2019-01-02 23:07:45 773
原创 BigData_A_B_01SparkStreaming Wordcount
楔子SparkStreaming Wordcount 例子demo使用Linux的 nc -lk 9999发送数据import java.util.Arrays;import org.apache.spark.SparkConf;import org.apache.spark.SparkContext;import org.apache.spark.api.java.JavaP...
2019-01-01 11:23:52 143
原创 BigData_A_B_01Spark-sql
楔子SparkSQL读取json不再此处描述,因为读取之后可以直接按照使用sql。此处只要是读取文本文件和开窗函数SparkSessionspark2 版本中获取SparkSessionstatic SparkSession sparkSession;/** * 数据文件位置 */static String base_path;static { SparkConf conf...
2019-01-01 00:45:08 144
jdk-11.0.8_windows-x64_bin.zip
2020-08-23
typora-setup-x64-0.9.93
2020-07-25
jdk-8u131-windows-x64.rar
2019-12-25
jdk-8u131-windows-i586.rar
2019-12-25
rufus-3.8p_3.rar
2019-11-30
思源宋体_win10字体替换工具.rar
2019-08-07
JRebel for Eclipse version 2019.1.4-SNAPSHOT_update-site_2.zip
2019-06-19
jetty_svn中文_mybatipse.rar
2019-05-23
SecureCRTSecureFX_HH_x86_7.0.0.326
2019-05-02
dbeaver_win_64
2019-04-29
impala_jdbc_2.5.30_win_64
2019-04-29
OneTab_1.33和The Great Suspender_7.0.109浏览器插件.zip
2020-06-28
PDMan-win32_v2.1.6_win_linux.zip
2020-06-08
redis客户端以及_Redis-x64-5.0.9.zip
2020-06-07
20200603_ffmpeg-git-amd64-static.tar.xz
2020-06-07
4.2.3_ffmpeg-release-amd64-static.tar_2.xz
2020-06-07
EasyPlayer.js 在VUE中使用
2020-05-22
nginx-http-flv-hlszip.zip
2020-05-14
ontTab1.1.8.zip
2020-05-11
nginx-http-flv-ffmepeg.zip
2020-05-05
OneTab_1.18.zip
2020-04-08
Vue-Devtools.rar
2020-04-05
redisclient-win32.x86.2.0.rar
2020-03-05
redisclient-win32.x86.2.0.rar
2020-03-03
azkaban-3.82.06.tar.gz
2020-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人