- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 大数据组件HA配置大全
一.Hadoop的HA /usr/local/hadoop-2.8.4/etc/hadoop 下是所有hadoop配置文件 1.HDFS HA配置： core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://myclust...
2019-07-09 12:28:45
490
原创 Elasticsearch 总结
目录1.Maven配置2.log4j2报错4.JAVA API操作-----获取Client-----创建索引-----删除索引-----新建文档（源数据json串）（String拼接）-----新建文档（源数据map方式添加json）-----新建文档（源数据es构建器添加json）-----搜索文档数据（单个索引）------搜索文档数据（多个索引）-----更新文档数据（update）---...
2019-07-31 18:47:04
485
原创 kibana-6.1.1-linux-x86_64.tar.gz安装使用
配置： # Kibana is served by a back end server. This setting specifies the port to use. server.port: 5601 # To allow connections from remote users, set this parameter to a non-loopback address. server.ho...
2019-07-31 14:28:02
506
原创 Elasticsearch单节点与集群安装
1）Elasticsearch官网： https://www.elastic.co/products/elasticsearch 单节点安装 解压，启动
2019-07-31 11:52:15
370
原创 Redis内存数据库
为什么要把数据存入内存？ 快 常见的内存数据库： MemCached（常用于session一致性，MemCached + keepalive实现）：看成Redis前身，严格来说，MemCached不能叫数据库，只能叫缓存 不支持持久化。如果内存停电，数据丢失。 Redis：内存数据库，支持持久化，支持HA Oracle TimesTen Redis适合用来做什么？ 共享Cache ，不怕丢数...
2019-07-21 16:22:28
512
原创 centos7中ifconfig没有ens33
解决方案 ifconfig ens33 up systemctl stop NetworkManager systemctl disable NetworkManager ifup ens33 systemctl restart network.service 如果遇到 设备 ens33 似乎不存在, 延迟初始化操作 使用ip addr（或ifconfig）查看ens33的m...
2019-07-21 14:22:39
4049
6
原创 Spark MLlib (机器学习库)
机器学习 机器学习是啥？ 机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 传统机器学习 有监督学习（例如有y=kx+b,有y值） 无监督学习（无y值，聚类分类） 人工智能 深度学习 强化学习 ...
2019-07-18 23:29:30
1022
原创 Spark窗口操作
窗口操作 窗口：对落在窗口内的数据进行处理，也是一个DStream，RDD 举例：每10秒钟把过去30秒的数据采集过来 代码实现 窗口滑动距离(reducebykeyandwindow的参数)必须是采样时间的整数倍(steamingcontext的参数) 业务场景 1.计算一天内接口的调用次数 窗口滑动距离：1天 ...
2019-07-15 23:36:30
295
转载 zookeeper客户端的命令行操作
（1）启动客户端 zkCli.sh （2）查看帮助 help （3）查看当前znode所包含的内容 ls / （4）创建节点 create /hunterhenshuai 18 （5）创建短暂znode create -e /itstar hunter （6）创建带序号znode create -s /bigdata hunter （7）创建短暂带序号 create -e -s /bigdata ...
2019-07-14 19:14:51
101
winutils2.8.4-hadoop2.8.4
2018-11-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人