- 博客(54)
- 收藏
- 关注
RSS订阅原创 hbase操作及优化
HBase学习之二: hbase分页查询 https://blog.csdn.net/javajxz008/article/details/51833982
2018-09-11 18:53:20
115
原创 内存调优汇总
Java启动参数与内存调优一些学习笔记 https://blog.csdn.net/rishengcsdn/article/details/40301015 Vmstat命令详解：查看系统与用户占cpu比率，排除线程频繁切换状况 https://www.cnblogs.com/tommyli/p/3746187.html 查看Spark进程的JVM配置及内存使用 https...
2018-06-27 10:32:32
126
原创 spark使用总结
Spark集群地址 http://192.168.12.21:8080/ Master: spark://192.168.12.21:7077 【转】Spark性能优化指南——基础篇 (推荐) https://www.cnblogs.com/hark0623/p/5533803.html spark submit参数调优 https://blog.csdn.net/che...
2018-04-17 18:07:59
125
原创 安装redis
https://blog.csdn.net/shaobin188/article/details/77481207 下载：https://redis.io/download wget http://download.redis.io/releases/redis-4.0.1.tar.gz tar xzf redis-4.0.1.tar.gz cd redis-4.0.1 ...
2018-04-10 11:16:37
98
原创 常用正则样例
192.168.0.2 192.168.0.1 - - [22/Dec/2017:14:57:09 +0800] "GET /testWS/aaa/getLyricURL?aa=123 HTTP/1.0" 200 185 "-" "Apache-HttpClient/4.5 (Java/1.8.0_60)" "asasas" 0 h2 ^\D*([\d., ]+) (\S+) (\S...
2018-04-02 11:34:05
106
原创 Spark Hive集成maven
UTF-8 1.8 1.8 2.11.8 2.1.0 5.1.27 org.apache.spark spark-streaming-kafka-0-10_2.1...
2018-03-23 17:16:27
1132
原创 算法汇总
余弦相似度与欧氏距离相似度 http://blog.sina.com.cn/s/blog_7308ed2f0102x327.html 推荐常用算法之-基于内容的推荐 https://blog.csdn.net/ch18255112191/article/details/51383612 白话深度神经网络 https://cloud.tencent.com/developer/ar...
2018-03-13 15:43:37
96
原创 Python3 安装
CentOS6.5下使用Virtualenv搭建Python3开发环境 http://www.linuxidc.com/Linux/2015-08/121352.htm
2017-12-04 14:25:48
93
原创 centos 7 下 安装配置 caravel
Superset pykylin集成安装 http://blog.csdn.net/sunday_or/article/details/68927393?utm_source=itdadao&utm_medium=referral SuperSet CentOs7安装部署 http://blog.csdn.net/akfdgg123/article/details/7374...
2017-11-29 16:58:17
135
原创 Kylin实践
http://bigdataer.net/?p=308 Kylin的cube模型 http://www.cnblogs.com/en-heng/p/cube-model-of-kylin.html
2017-11-21 11:19:56
78
原创 hbase完全分布式安装
hbase完全分布式安装 https://www.cnblogs.com/haozhengfei/p/b2f14298a429a6ca0012b43952f0d53f.html 还得从node1中拷贝 core-site.xml到hbase的conf目录中
2017-11-20 15:13:28
97
原创 hadoop问题
没配置mapred-site.xml导致不找本地目录而从hdfs上找 参考： http://blog.csdn.net/liyongke89/article/details/51276384
2017-11-17 18:08:40
95
原创 hadoop HA启动
hadoop集群启动 https://wenku.baidu.com/view/c36ec0b277232f60ddcca1ee.html 2.5启动zookeeper集群（分别启动zk） cd /weekend/zookeeper-3.4.5/bin/ ./zkServer.sh start #查看状态：一个leader，两个follower ./zkServer.sh stat...
2017-11-16 13:50:29
286
原创 推荐博客
推荐系统的架构 https://www.cnblogs.com/kobedeshow/p/3569525.html 推荐系统easyrec数据结构分析 https://wenku.baidu.com/view/7cd8ad0b83c4bb4cf7ecd1aa.html easyrec官网 http://easyrec.org/home 推荐系统easyrec...
2017-11-10 15:35:30
122
原创 Kylin安装
最高支持hive1.2.1 http://archive.apache.org/dist/hive/hive-1.2.1/ http://blog.csdn.net/wzy0623/article/details/51283352 kylin 搭建和简单测试结果 http://chengjianxiaoxue.iteye.com/blog/2218510 Kylin...
2017-10-30 17:19:09
113
原创 scala学习
快学Scala学习笔记及习题解答 http://blog.csdn.net/u013980127/article/details/53331624
2017-10-16 13:45:49
106
原创 Spark Mysql to hdfs
import org.apache.hadoop.fs.Path import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} object MysqlToHdfs { def main(args: Array[String]) { v...
2017-08-18 18:11:55
262
原创 Mysql5.7安装
最全的mysql 5.7.13 安装配置方法图文教程(linux) 强烈推荐! http://www.jb51.net/article/90317.htm 启动：/etc/init.d/mysqld start 登陆： ./mysql -uroot -p
2017-06-28 10:44:49
67
原创 hive安装
参考： http://www.cnblogs.com/linbingdong/p/5829369.html 但注意database schema初始化，有两种方式. 第一种，先配置好hive-site.xml ./schematool -initSchema -dbType mysql 会在db中自动创建数据库及表 另一种，手工创建数据库，并source scr...
2017-06-22 19:31:18
60
原创 关注的博客
机器学习与数据挖掘网上资源搜罗——良心推荐 http://www.cnblogs.com/cxzdy/p/5111780.html 白马负金羁 http://blog.csdn.net/baimafujinji/article/category/6048259 牛肉圆粉不加葱 http://www.jianshu.com/u/001d44710e2e 孟令龙博客...
2017-06-14 09:17:22
91
原创 大数据培训体系
LINUX Unit01： Linux概述 、 系统安装与分区 、 常用命令 视频 Unit02： 磁盘物理结构 、 文件系统原理 、 网络基本知识 、 网络操作 视频 Unit03： 进程概述 、 rpm安装软件 、 yum安装删除软件 、 yum进阶 视频 Unit04： vim命令 、 常见的shell命令 以及实战练习 视频 Unit05： shell script 、 条件判...
2017-05-15 12:33:00
150
原创 英语链接
magic school bus字幕文件下载 第1集、第2集 http://www.ebama.net/thread-61871-1-1.html
2017-05-12 12:37:56
186
原创 Maven打可执行包配置
参考： http://blog.csdn.net/defonds/article/details/43233131mvn assembly:assembly <build> <plugins> <plugin> <artifactId>maven-assembly-plugin</ar...
2017-05-09 17:35:25
77
原创 Spark 博文
VentLam大数据 https://www.jianshu.com/u/xyZroM 大数据时代 基于用户画像的精准营销http://www.cbdio.com/BigData/2016-08/23/content_5207015.htm 基于用户画像的实时异步化视频推荐系统 http://www.jianshu.com/p/83af9502acb6 一个电子商务网站商...
2017-05-04 13:07:28
185
原创 Spark Sql
Spark入门实战系列--6.SparkSQL（下）--Spark实战应用 http://www.cnblogs.com/shishanyuan/p/4723713.html Flume+Spark+Hive+Spark SQL离线分析系统 http://blog.csdn.net/ymh198816/article/details/52014315 sparkSQL实战详...
2017-05-03 13:03:51
82
原创 Hive 优化
Hive中跑MapReduce Job出现OOM问题分析及解决 https://blog.csdn.net/oopsoom/article/details/41356251 ==========================================================================================================...
2017-04-24 16:50:13
106
原创 java常用网址
findJar http://www.findjar.com download jar http://maven.ibiblio.org/maven2/org/json/json/20160212/
2017-03-22 17:15:13
807
原创 hive函数
http://www.kuqin.com/shuoit/20131030/335990.html SELECT id, CONCAT_WS(',', COLLECT_SET(pic)) FROM tbl GROUP BY id 在这里CONCAT_WS是UDF，COLLECT_SET是UDAF，它将group后的pic去重，并转换为了array，方便udf是用。 PS：如果不需要去...
2017-03-15 15:16:13
57
原创 使用 Selenium with Python 进行 web 自动化测试
安装Splinter: D:\Program Files\Python36\Scripts>pip install splinter http://www.cnblogs.com/mealrice/p/5495544.html 使用 Selenium with Python 进行 web 自动化测试 https://www.zybuluo.com/mwumli/not...
2017-03-14 22:41:58
112
原创 Kafka命令
启动： /bin/kafka-server-start.sh -daemon config/server.properties & 关闭： ./kafka-server-stop.sh 启动所有的broker命令： bin/kafka-server-start.sh config/server.properties & 创建 bin/kafka-topi...
2017-03-06 22:37:42
97
原创 storm1.0.2版本集群搭建完整步骤
storm1.0.2版本集群搭建完整步骤 http://blog.csdn.net/xu470438000/article/details/54090429 nimbus：nohup bin/storm nimbus >/dev/null 2>&1 & ui：nohup bin/storm ui >/dev/null 2>&1 &a...
2017-03-03 21:42:18
81
原创 idea打包jar的多种方式
idea maven打包jar的多种方式 http://www.cnblogs.com/qifengshi/p/6036870.html
2017-03-03 09:58:19
114
原创 Oozie4.0.1详细安装教程
Oozie4.0.1详细安装教程 http://www.linuxidc.com/Linux/2014-12/110456.htm http://www.tuicool.com/articles/n2MJ3mn azkaban安装 http://blog.csdn.net/levy_cui/article/details/51594965 ...
2017-02-26 23:12:36
96
原创 Spark机器学习
基于隐式反馈的音乐推荐技术研究 http://www.doc88.com/p-3691241178446.html 一个电子商务网站商品推荐系统的设计与实现 https://wenku.baidu.com/view/e514ef99b8f67c1cfbd6b874.html 机器学习入门好文，强烈推荐 http://blog.csdn.net/ritterliu/arti...
2017-02-26 23:10:42
97
原创 Hive hql
[Hadoop大数据]——Hive连接JOIN用例详解 http://www.cnblogs.com/xing901022/p/5804836.html 清空表数据 insert overwrite table t_table1 select * from t_table1 where 1=0; 建表 create table test_part (id int,name...
2017-02-21 11:06:41
99
原创 Maven Hive-Jdbc教程
Maven Hive-Jdbc教程 http://www.cnblogs.com/ae6623/p/5686504.html http://blog.csdn.net/jethai/article/details/52345271
2017-02-20 22:32:10
350
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人