bigdata_舆情项目完结

一、mysql存储引擎

1. innodb

- 有事务，在操作性能上略低于myisam

2. myisam

- 无事务，在操作性能是哪个比较高，高于innodb

二、如何证明数据挖掘的效果是准确ok的，可以被信任采纳的

1. 直接证明
2. 间接证明

二、maven的项目打包

1. 项目打包分类

- 可运行jar，即rennable jar
  - All in one 打包的jar
  - 分离式打包
    - 将自己的jar包和依赖的jar分开打
- 非独立运行jar，即dependency jar

三、web类开发项目的代码梳理技巧

1. 以功能开发为依据，针对每个功能进行自前往后，然后自后往前的请求流程的梳理即可
2. 端到端的闭环系统

七、springboot的常用注解

1. SpringBootApplication

- 定义springboot项目的根类，自此开始

2. ComponentScan

- 组件浏览配置，解决spring组件装配的扫件路径问题

3. Controller

- MVC当中的C,即拦截器
- 用来拦截用户的路径请求，并进行转向，到对应的Model当中进行处理
- 完成后，再返回给指定的View视图

4. RestController

- 微服务，Controller+ResponseBody
- 响应数据请求，将得到的处理结果，一般是json返回给前端的view进行渲染处理

5. EnableAutoConfiguration

- 让某个controller或是restcontroller可以独立启动，对外提供独立的微服务
- 常用于微服务接口当中

6.  AutoWired

- 自动织入，或者叫自动注入。

- 将标记有该注解的对象，进行自动初始化，注入到spring容器当中。

7. RequestMapping

- 请求路径映射作用，将指定的映射路径交给对应的controller的方法去处理。

8. Component

- 将写的类纳入到spring容器管理当中。

四、echarts的使用方法

1. 引入echarts的核心，js依赖和相关插件依赖
2. 定义main div画板
3. 初始化画板，拿到对应的echarts对象
4. 定义参数对象option
5. 设置chart的option参数，使之生效
6. 响应式设置、

五。

流水线：

只管输入和输出，中间都是傻瓜式、透明操作。

执行脚本：        

解决执行问题，即从A到B。

Shell脚本的执行方式

四种执行方式  ：

sh执行

相对路径执行

绝对路径执行

source执行

sh和source执行shell脚本的区别和联系？

联系：

都可以执行shell脚本

而且都对shell脚本的rwx权限没有要求

区别：

Sh是新开一个会话窗口执行脚本，不会改变当前会话窗口环境变量。

Source是在当前会话窗口执行脚本，会改变当前会话环境变量。

六.数据流流程

1) zip -> 本地csv

2)本地csv->hdfs csv

3) hdfs csv -> weibo_origin

4)weibo_origin -> weibo_product

5) weibo_product -> weibo_seg_result

6) weibo_seg_result -＞　weibo_seg_wc

7) weibo_seg_wc -> hdfs的hotwords文件

８）　hdfs的hotwords文件　－＞　local的hotwords文件

9) local hotwords文件 -> mysql weibo_hot_words表

10） mysql weibo_hot_words表 -> web可视化

执行脚本流程化，注明入口，传送web端