qq_44480749的博客

原创 Hadoop InputFormat 切片规则

原创 Hadoop works文件作用

如果配置了works文件，并且配置ssh免密登录可以使用 start-dfs.sh 启动 HDFS集群参考文档： Hadoop官方文档 3.1.3官网文档链接：http://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-common/ClusterSetup.html官网截图...

原创 查看Hadoop所有版本文档 / 查看历史版本文档

查看Hadoop所有版本文档 / 查看历史版本文档链接 ：所有版本文档方法：1. 进入Hadoop官网，选择任一版本文档2. 选择 http://hadoop.apache.org/docs ，显示所有版本。

原创 大数据概述和特点

1. 大数据大数据是指在传统数据处理应用软件不足以处理的大或复杂的数据集。例如： TB、PB、EB、…2. 大数据解决的问题大量数据的存储和计算。3. 大数据的特点 ：（4V）① Volume（大量）数据量大。② Velocity （高速）数据量的增长速度快。③ Variety （多样）传统的数据以结构化数据为主。大数据的数据有结构化的数据和非结构化的数据，其中非结构化的数据越来越多（如网络日志、音视频、图片等）。④ Value （低价值密度）数据的价值密度与数据量成反比。4.

原创 Spring boot 整合 mybatis

Spring boot 整合 mybatis1. pom.xml 添加 依赖2. 配置 application.properties 文件3. 测试是否成功1. pom.xml 添加 依赖<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId></dependency><dependency> &lt

原创 使用IDEA创建多个子模块的 maven 项目

提示：新手学习记录，仅供参考1. 点击 Creat New Project![引入库](2. 选择 maven， 不使用模板，点击 next3. 到此，父模块创建成功父模块不写具体业务代码仅用来引入子模块公共的 jar 包所以， src 目录可以删除另外，修改 pom.xml 的打包方式为 pompom ： 父模块的打包方式如图：4. 选择shop模块，创建子模块根据需要创建所需类型子模块： 如不使用模板的项目，一般maven项目，web 项目等...