大数据学习记录

1、怎么使用Hadoop

Hadoop集群的搭建
无论是在windows上装几台虚拟机玩Hadoop，还是真实的服务器来玩，说简单点就是把Hadoop的安装包放在每一台服务器上，改改配置，启动就完成了Hadoop集群的搭建。
上传文件到Hadoop集群
Hadoop集群搭建好以后，可以通过web页面查看集群的情况，还可以通过Hadoop命令来上传文件到hdfs集群，通过Hadoop命令在hdfs集群上建立目录，通过Hadoop命令删除集群上的文件等等。
编写map/reduce程序
通过集成开发工具（例如eclipse）导入Hadoop相关的jar包，编写map/reduce程序，将程序打成jar包扔在集群上执行，运行后出计算结果。

• 一篇了解大数据架构及Hadoop生态圈
• 五种大数据处理架构
• 大数据处理框架的类型、比较和选择

2、hadoop的三大核心组件之HDFS和YARN

hadoop三大核心组件

3、Flume

FLume

4、sqoop

sqoop

5、map/reduce程序

• map/reduce编程实践
• 如何编写MapReduce程序？有套路吗？
• MapReduce执行流程及程序编写
• 创建一个普通的Java项目，编写MapReduce程序
• Eclipse下编写并执行MapReduce程序以及导出jar包
• MapReduce执行流程及程序编写
• 编写MapReduce程序
• 用python写MapReduce函数——以WordCount为例

6、Eclipse

• 无图形界面linux安装eclipse

• Linux CentOS系统上安装Eclipse

• CentOS7 安装图形化桌面

7、Hbase

Hbase

8、Hive

（数据仓库，可以用来创建多维立方体）

• Hive
• Hive

9、可视化 ES+Kibana

• Elasticsearch与hadoop比较
• Elasticsearch下载安装
• 快学Big Data – Kibana总结
• Kibana（一张图片胜过千万行日志）
• 面试小结之Elasticsearch篇
• Elasticsearch学习，请先看这一篇！
• Hadoop集群中增加与ElasticSearch连接的操作

10、 机器学习

• 用于Web开发的5种机器学习框架
• 如何选择开源的机器学习框架？
• 机器学习–boosting家族之XGBoost算法

11、R语言和大数据的结合

• R语言实现MapReduce的协同过滤算法
• R语言和大数据的结合
• RHadoop计算平台搭建
• 大数据分析中R语言能否结合Hadoop进行数据统计？
• RHadoop实践系列之三 R实现MapReduce的协同过滤算法

• 如何让Hadoop结合R语言做大数据分析 https://zhidao.baidu.com/question/810295737780436932.html?qbl=relate_question_5&word=R%D3%EF%D1%D4%D4%F5%C3%B4%BD%E1%BA%CF%B4%F3%CA%FD%BE%DD%BB%FA%C6%F7%D1%A7%CF%B0%BF%F2%BC%DC

12、linux下jupyter notebook的使用：

• linux下jupyternotebook的使用
• 如何在Jupyter中运行R语言（两种解决方案）
• 在jupyter notebook中使用R语言

13、产品原型工具有哪些？

• Mockplus VS Axure
• 软件原型设计工具有哪些？
• 产品原型工具有哪些？

14、VNC

• Linux开启vnc服务并使用linux通过客户端连接
• Windows下使用VNC连接CentOS7远程桌面
• CentOS安装使用vnc进行远程桌面登录

15、mahout

• mahout详解
• 基于hadoop下的mahout推荐系统实现
• 用R解析Mahout用户推荐协同过滤算法(UserCF)

16、Tableau

• 如何将Tableau server中的视图嵌入web页面
• tableau如何嵌套进自己开发的javaweb 项目中
  tableau能做网页吗？
• 手把手教你Tableau高级数据分析功能（附数据集）
• R语言与Tableau集成之可视化应用

17、云服务器

• 云服务器搭建神器JupyterLab（多图）
• 腾讯云大学

18、赛题

• 赛题一－A股上市公司季度营收预测
• 实战A股上市公司季度营收预测
• 机器学习模型例说：如何预测公司业绩？
• 基于机器学习算法价值选股策略

19、前端

• getbootstrap
• Vue + Spring Boot项目实战（一）：项目简介

20、工具

• 从Python代码到APP，你只需要一个小工具：GitHub已超3000星
• 你用过Excel，却不知还有一款神器“FineReport”