weixin_43808721的博客

Spark core简单wordcount案例spark文件基本流程1、创建spark环境//配置spark对象val conf = new SparkConf()//设置任务名conf.setAppName(“wordcount”)//指定spark代码运行方式，local：本地测试conf.setMaster(“local”)//spark 上下文对象 用于数据读取（后面使用sparksql的时候使用SparkSession）2、RDD转换算子操作（因为转换算子是懒执行）3、R

kafka的大致框架图启动zkzkServer.sh start启动kafkakafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-1.0.0/config/server.properties创建一个topickafka-topics.sh --create --zookeeper master:2181,node1:2181,node2:2181 --replication-factor 3 --partitions 3

学习大数据的第52天（Hive）——day02Hive的分区操作一、开启HIVE中分区表支持中文字段​ 1.根据HIVE开启分区支持中文.txt中的操作步骤去MySQL中执行，修改HIVE元数据库中的编码格式2. 插入数据 INSERT INTO TABLE filetest.partition_student PARTITION(gender="女生") SELECT "1500100002","吕金鹏",24,"文科六班"; INSERT INTO TABLE filetest.partit

学习大数据的第51天（Hive篇）——day01Hive框架Hive是什么Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper

Mapreduce的原理Mapreduce的概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。Reduce阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据【在这先把reduce理解为一个单独的聚合程序即可】。MapReduce框架都有默认实现，用户只需要覆盖map()和reduc

Hadoop源码分析：回退上一级源码快捷键：ctrl+alt+ <-数据输入：InputFormat：getSplits（具体由FileInput实现）方法一public List<InputSplit> getSplits(JobContext job) throws IOException { //创建一个时间戳 StopWatch sw = new StopWatch().start(); //最小的切片大小 long minSize = Math.

学习大数据的第49天（搭建HA）高可用HA的环境搭建（不过公司里都是用CDH ） ZK NN DN RM NM JN ZKFCmaster 1 1 1 1 1node1 1 1 1 1 1 1 1node2 1 1 1 1注意： 操作前需要保存一下之前的快照jdk hosts1、防火墙service iptables stop2、时间同步yum install ntpntpdate -u s2c.time.edu.cn或者date -s 201805033、免密钥

加油

坚持住就是胜利

学习大数据的第46天（Hadoop篇）——Hadoop框架的认识以及基础命令的认识Hadoop的学习笔记大数据的特点：大量、高速、多样化概述：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。Hadoop框架三大组件支持：Hadoop是一个统称，目前hadoop主要包含三大组件：（1）HDFS：是一个分布式存储框架，适合海量数据的存储（2）mapreduce：是一个分布式计算框架，适合海量数据的计算（3）yarn：是一个资源调度平台，负责给计算框架分配计算资源HDF

学习大数据的第45天（Hadoop篇）——搭建Hadoop平台如何安装Hadoop平台Hadoop安装文档基础配置(三台都要安装，切记否则后面会出错)1、关闭防火墙 systemctl status firewalld.service #停止firewall systemctl disable firewalld.service #禁止firewall开机启动 查看防火墙状态 firewall-cmd --state systemctl status firewalld.servi

学习大数据的第44天（python篇）——学习python的第四天（scrapy爬虫简单实例）Python——爬虫scrapy框架Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 通常我们可以很简单的通过Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。Scrapy架构图(绿线是数据流向)Scrapy Engine(引擎): 负责Spider、ItemPipe

学习大数据的第42天（python篇）——学习python第3天Python的科学计算生态圈NumPy 处理一些多维矩阵Scipy library 主要是积分运算，优化以及图形Matplotlib 画图（二维图形）IPythonSympy 用的不多pandas 主要是数据分析，数据处理（比较重要）数据清洗，提供比较好的数据结构Dataframe （spark中也有）NumpyNumpy 是一个专门用于矩阵化运算，科学计算的开源Python​ 强大的ndarray

学习大数据的第42天（python篇）——学习python的第2天Python 判断循环判断格式:if 表达式1:代码块1(缩进)代码块2(缩进)代码块3(缩进)elif 表达式2:代码块4(缩进)代码块5(缩进)代码块6(缩进)else:代码块7(缩进)代码块8(缩进)age = 200if age <= 0 | age >= 150: print("成精了...")elif age >= 18: print("成年...")eli

学习大数据的第41天（python篇）——学习python的第一天Pyhton 基础语法Base变量变量的定义要求:1.命名要求： 字母、数字、下划线2.注意: (1)数字不能作为开头(2) 不能以关键字作为变量名注意：输出一串相同的字符串的时候，可以 print(’>>>>’ * 40)五种数据类型整型: int字符串: str小数: float布尔类型: bool空类型:NoneType注意：1.bool类型中的True和False是需要首字母

奥里给

学习大数据的第39天（redis篇）——安装redis的注意事项Redis安装1. 配置阿里云yum源下载配置文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo生成缓存yum makecache2、上传并解压tar -zxvf redis-6.2.6.tar.gz -C /usr/local/soft/3、安装编译所需的依赖yum install -

学习大数据的第38天（mysql篇）——jdbc、自定义工具类和配置文件的方法改进jdbc、如何创建maven项目、Git的使用方法以及创建spring项目的方法1.加载驱动程序Class.forName(“com.mysql.jdbc.Driver”);2.获得数据库链接Connection conn=DriverManager.getConnection(URL, USER, PASSWORD);3.通过数据库的连接操作数据库，实现增删改查（使用Statement类）Statement s

新的知识，着重掌握

详解三大范式以及TopN问题MSQL三大范式第一范式:原子性 字段不可再分割第二范式:唯一性 字段必须依赖与逐渐问题：（1）数据冗余​ （2）更新异常​ （3）插入问题​ （4）删除第三范式:冗余性 不能进行依赖传递TopN问题类似于查找分组中最大或者前几个信息，也就是这类的问题不能group by 来解决不能再使用group by 解决TopN的问题因为group by所获的数据量是固定的(和组的数量保持一致)TopN数量不固定-- order by se