- 博客(12)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 《大数据上篇： 学习导图》
《大数据： 学习导图》大数据学习前提JAVA基础 ：《JAVA： 学习导图》更新中。。。《大数据： 介绍》《大数据： Maven 一》《大数据： Maven 二》《大数据： Hadoop（HDFS） 一》《大数据： Hadoop（MapReduce） 一》...
2020-08-27 17:25:02
833
原创 《大数据： Hadoop 源码编译》
一、准备工作1. 连接外网。Linux虚拟机ping www.baidu.com是畅通的2. 注意：采用root角色编译，减少文件夹权限出现问题3.jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)hadoop-2.7.2-src.tar.gz jdk-8u144-linux-x64.tar.gz apache-ant-1.9.9-bin.tar.gz（build工具，打包用的） apache-maven-3.0.5-bin.tar.gz prot..
2020-08-31 20:19:23
153
原创 《大数据： Hadoop（HDFS） 完全分布式集群二》
一、集群配置1. 如何规划hadoop中的进程HDFS : 有一个NN（namenode）和 N个DN（datanode），2NN（second namenode ）也可以有N个辅助NN工作YARN : 有一个 RM（resoureManager） 和 N 个NM （nodemanager）避免单点故障，NN和RM建议分散到多台机器, 我们现在有3台机器，我们可以这样分配 :Hadoop1 Hadoop2 Hadoop3DN D...
2020-08-31 19:15:32
171
原创 《大数据： Hadoop（HDFS） 完全分布式集群一》
一、分布式平台搭建配置系统主机名yexiang@localhost:<~>$ sudo vim /etc/hostname hadoop1配置系统ipyexiang@hadoop1:<~>sudo vim/etc/network/interfacessource /etc/network/interfaces.d/*# The loopback network interfaceauto loiface lo inet loop...
2020-08-31 12:22:06
181
原创 《大数据： Hadoop（HDFS） 配置与本地模式》
一、Hadoop目录结构yexiang@localhost:/opt/soft/hadoop-2.7.2$ ls -altotal 60drwxr-xr-x 9 yexiang yexiang 4096 May 22 2017 .drwxr-xr-x 4 yexiang yexiang 4096 Aug 27 23:41 ..drwxr-xr-x 2 yexiang yexiang 4096 May 22 2017 bindrwxr-xr-x 3 yexiang yexiang
2020-08-28 17:31:36
165
原创 《大数据： 介绍》
一、什么是大数据？大数据： 指无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合，是需要新处理模式才能具有更强的决策力，洞擦力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决海量数据的存储和分析计算问题二、大数据特点1. 大量数据存储单位：bit，Byte，KB，MB，GB，TB，PB，EB，ZB，YB，BB，NB，DB， 1Byte = 8bit，1K=1024Byte 1M=1024K ，....顺序从小到大排列， 个人硬盘容量大约是TB级别，一些企业.
2020-08-27 17:20:07
222
原创 《大数据： Hadoop（MapReduce） 运行流程》
一、Hadoop1.hadoop的初衷是采用大量的廉价机器，组成一个集群！完成大数据的存储和计算！2.hadoop中的组件1.xHDFS： 负责大数据的存储Common: HDFS和MR共有的常用的工具包模块！MapReduce: 负责计算，负责计算资源的申请的调度！完成大数据的计算①写程序，程序需要复合计算框架的要求！ java---->main----->运行 MapReduce(编程模型)----->Map--Reducer②...
2020-08-26 19:50:07
380
原创 《大数据： Hadoop（HDFS） 架构介绍与安装》
一、Hadoop1.hadoop的初衷是采用大量的廉价机器，组成一个集群！完成大数据的存储和计算！2.hadoop中的组件1.xHDFS： 负责大数据的存储Common: HDFS和MR共有的常用的工具包模块！MapReduce: 负责计算，负责计算资源的申请的调度！完成大数据的计算①写程序，程序需要复合计算框架的要求！ java---->main----->运行 MapReduce(编程模型)----->Map--Reducer②...
2020-08-26 19:49:23
153
原创 《大数据： Maven 核心概念》
一、Maven的核心概念POM 约定的目录结构 坐标 依赖 仓库 生命周期 插件和目标 继承 聚合1.POMProjectObject Model：项目对象模型。将Java工程的相关信息封装为对象作为便于操作和管理的模型。Maven工程的核心配置。可以说学习Maven就是学习pom.xml文件中的配置2.约定的目录结构现在JavaEE开发领域普遍认同一个观点：约定>配置>编码。意思就是能用配置解决的问题就不编码，能基于约定的就不进行配置。而M...
2020-08-25 18:59:01
166
原创 《大数据： Maven 安装与编译运行》
为什么要使用Maven？Maven是干什么用的？这是很多同学在学完这个课程后最大的问题。之所以会提出这个问题，是因为即使不使用Maven我们仍然可以进行B/S结构项目的开发。从表述层、业务逻辑层到持久化层再到数据库都有成熟的解决方案——不使用Maven我们一样可以开发项目啊？所以我们有必要通过企业开发中的实际需求来看一看哪些方面是我们现有技术的不足。1.1 添加第三方jar包 在今天的JavaEE开发领域，有大量的第三方框架和工具可以供我们使用。要使用这些jar包最简单的方法就是复制粘贴到.
2020-08-25 16:38:19
255
原创 《JAVA 基础： eclipse快捷方式》
----------------------------------------------------------------------------------快捷键 Alt+Shift+S(弹出源代码的相关选项)+v 继承覆盖方法+r 添加geter和seter+m 成员的方法+h 添加 hashcode() 和equals()+o 完成构造方法+c 继承构造方法------------------------------------------------------------
2020-08-07 13:57:57
224
原创 《JAVA 进阶： 代码演示十三》
综合演示用Druid 去封装DAO 去处理数据库中的数据JDBCUtilsDruid2.javapackage com.yx.demo1;import java.io.IOException;import java.sql.Connection;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import java.util.Properties;import .
2020-08-07 10:30:29
198
QTcpThreadPoolServiceTest
2020-12-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人