慢熟的孩子-CSDN博客

原创 Python学习之第二周

深入理解Pyhton语言实例2：Pyhton蟒蛇绘制模块1：turtle库的使用turtle程序语法元素分析深入理解Python语言计算机技术的演进1946-1981计算机系统结构时代1981-2008网络和视窗时代2008-2016复杂信息系统时代2016-人工智能时代编程语言的多样性Python语言特点Pyhton语言...

2019-09-25 17:36:22 123

原创 Python学习之第一周

1. 程序设计基本方法2. Python开发环境配置3. 实例1：温度转换4. Python程序语法元素分析程序设计基本方法计算机与程序设计功能性：对数据的操作，表现为数据计算、输入输出和结果存储可编程性：根据一系列指令自动地、可预测地、准确地完成操作者的意图计算机硬件所依赖的集成电路规模参照摩尔定律发展计算机运行速度因此也接近几何级数快速增长 ...

2019-09-20 20:23:07 230

原创 IP详述

进制转换 IP地址基础 CIDR和VLSM A、B、C类地址快速划分方法子网划分路由汇总进制转换二进制转换成十进制二进制每位权值128 64 32 16 8 4 2 1技巧：利用“1”的权值相加十进制转换成二进制权值相凑IP地址基础IP地址用于在Internet上标识计算机，软件地址与之相对：MAC地址硬件地址，也称烧录地址，在本地网络上（如以太...

2019-09-11 10:29:20 565

原创密码学之流密码

流密码流密码将明文消息按字符逐位加密，它采用密钥流生成器（KG），从种子密钥生成一串密钥流字符来加密信息，每个明文字母被密钥流中不同的密钥字符加密。同步流密码密钥流的产生独立于明文流和密文流的流密码。同步流密码各符号之间是真正独立的，一个字符传播错误只会影响一个符号，不会影响后继的符号。自同步流密码（异步流密码）自同步流密码的产生与已经产生的一定数量的密文有关，通常第i个密钥...

2019-09-10 12:46:53 1587 3

原创密码学之分组密码设计及DES算法设计

分组密码：对明文加密时，首先要对明文进行分组，每组的长度相同，然后对每组明文分别加密，得到等长的密文。特点：速度快、易于标准化、便于软硬件实现设计要求：分组长度n要足够大秘钥空间要足够大密码变换必须足够复杂分组密码设计原则和方法混淆：所设计的密码应使得秘钥和明文以及密文之间的依赖关系相当复杂，以至于这种依赖性对密码分析者来说无法利用扩散：所设计的密码应使得秘钥的每一位影响密文...

2019-09-09 18:13:39 4022 1

原创用IO处理数据流之对象序列化与反序列化

序列化将一个内存中保存的对象变成一个二进制的数据流进行传输，但并不是所有类的对象都可以进行序列化操作，如果一个对象需要被序列化，则对象所在的类必须实现Serializeble接口。此接口中没有任何的方法定义，是作为标识接口出现的实体类标注为可以序列化package IO;import java.io.Serializable;public class Person implement...

2019-09-09 13:05:06 185

缓冲流原理就是将数据先缓冲起来，然后一起写入或读取出来，使用缓冲流读写文件非常高效，常用的缓冲流：BufferedReader、BufferedWriter、BufferedInputStream、BufferedOutputStreamBuffferedReader与BufferedWriterBufferedReader属于字符流，如果使用BufferedReader流，就需要将一个字节...

2019-09-09 12:44:30 165

原创用IO处理数据之内存操作流

内存操作流将输入输出的位置改变成了内存，就称为内存操作流，使用ByteArrayOutputStream完成内存的输出操作import java.io.*;public class ByteOutputStreamDemo { public static void main(String[] args) throws IOException { outin(); ...

2019-09-09 12:01:06 150

原创用IO进行数据处理之过滤流

过滤流通常字节流只具有读写字节内容的方法，它们只能在文件中读取或者向文件中写入字节，在实际开发中往往需要在文件中读取或写入各种类型的数据，（整型、布尔类型等），就必须先将其他类型的数据转换成字节数组后写入文件，或者从文件中读取字节数组转换成其他数据类型，这时候需要包装类。DataOutputStream对于DataOutputStream必须给它一个输出流对象，完成类似DataOutput...

2019-09-09 11:49:45 279

原创用IO进行数据处理之字符流

字符流字符输出流Writer是字符输出流，该类是一个抽象类，所以要用子类FileWriter类来操作文件package IO;import java.io.FileWriter;import java.io.IOException;public class WriterDemo { public static void main(String[] args) throws ...

2019-09-09 10:48:58 114

原创用I/O进行数据处理之字节流

I/O主要是对文件进行处理，主要包括三个方面：input、out、File文件操作java.io包里面，该包下面有File类，Java提供的File类只能创建文件、删除文件、对文件属性进行操作，并不能对文件里面的内容进行读写操作文件常见属性操作package IO;import java.io.File;import java.io.IOException;import j...

2019-09-08 23:31:03 163

原创路由和交换机技术第一节课总结

网络相关知识概述网络分层的优点简单化标准化互联互通模块化TCP/IP和OSI的比较Application应用层Presentation表示层Session会话层Transport传输层Network网络层data Link数据链路层Physical物理层TCP/IP协议组中常用的协议TCP/IP模型...

2019-09-06 19:17:05 800

原创密码学之对称密码体制

对称密码体制：加密密钥与解密秘钥相同的密码体制，这种体制只要加密（或解密）算法，就可以反推出解密（或加密）算法对称密码体制可以分为分组密码和流密码古典密码是现代密码的基础，包含着密码处理的基本单元，历史上经典的对称密码体制都采用了替代、置换替代：将明文中每个元素映射为另一个元素（可以看成是一个大的查表运算），明文元素被其他元素所替代而形成密文置换：换位，改变明文消息中各元素的排列位置，但明...

2019-09-04 19:31:22 6029

原创密码学基础之基本概念

今天上了老师的课，知道了密码学的一些概念和一些基础知识，想总结总结分享给大家密码学：用基于数学方法的程序和保密的秘钥对信息进行编码，把信息变成一段杂乱无章难以理解的字符串，也就是把明文转变成密文。密码学只要分为两个分支：密码编码学，密码分析学密码编码学：主要研究对信息进行变化，以保护信息在信道传递过程中不被敌手窃取、解读和利用的方法（如何加密）密码分析学：过程与之相反密码学的基本概念：...

2019-09-03 12:51:26 1267

原创集合

在编程语言中，数组有一个致命的缺点，一旦数组的大小确定，则其大小不能改变。在实际场景中，我们不可能确定数组的大小，所以这个时候，就要使用java的集合。Why？集合可以认为是一种可变的数组，大小可以随着元素的增加而增加。集合的容量是可变的，扩展性比较好。What？Java中集合位于java.util包下...

2019-09-02 10:42:57 99

原创 Maven简介

以前老是写代码，也没有深深的研究jar的管理。直到接触一些大数据的MapReduce编程，才了解到Maven项目管理。想必要，我就提出了两个疑问。为什么要使用Maven,Maven又是什么呢？Why？我以前写的代码项目只是一些阿猫阿狗的项目，也就是个简易的图书管理系统或成绩管理系统，但是当项目非常庞大时，就不适合用package来划分模块，这个时候就需要每一个模块对应一个工程就有利于协作。...

2019-09-01 20:51:13 196

原创 hive分区表的创建以及代替MR编程

分区表create external table track_info(ip string,country string,province string,city string,url string,time string,page string) partitioned by (day string) ROW FORMAT DELIMITED FIELDS TERMINATE...

2019-08-24 13:49:18 249

原创 Hive外部表在Hive中使用

查看emp表的结构发现这是一个内部表Table Type: MANAGED_TABLE之后在mysql中查看emp2等表的结构删除表：HDFS上的数据部分被删除 & Meta也被删除drop table emp2;创建一张外部表CREATE EXTERNAL TABLE emp_external(empno int,ename string...

2019-08-24 09:48:04 1037

原创 Hive QL执行计划

2019-08-24 09:22:04 85

原创 Hive QL之join的使用

首先需要另外加载一个表，实现两张表之间的互相联系CREATE TABLE dept(deptno int,dname string,loc string)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';加载数据LOAD DATA LOCAL INPATH '/home/hadoop/data/dept.txt' OVERWRITE I...

2019-08-24 09:12:40 187

原创 Hive QL之分组函数

分组函数： group by求每个部门的平均工资select deptno ,avg(sal) from emp group by deptno;出现在select中的字段，如果没有出现在聚合函数里，那么一定要实现在group by里select deptno ,avg(sal) from emp group by deptno;否则语法通不过求每个部门、工作岗位的平均工资sele...

2019-08-24 08:53:48 826

原创 Hive QL之聚合函数

聚合：max/min/sum/avg统计部门编号有多少员工为10select count(1) from emp where deptno=10;select max(sal),min(sal),sum(sal),avg(sal) from emp;

2019-08-24 08:40:45 149

原创 Hive QL基本统计

[WITH CommonTableExpression（，CommonTableExpression）*]（注意：仅从Hive 0.13.0开始提供）<font&...

2019-08-24 08:25:37 154

原创 Hive DML之加载和导出数据

Hive Data Manipulation LanguageHive数据操作语言Loading files into tablesHive does not do any transformation while loading data into tables. Load operations are currently pure copy/move operations that mo...

2019-08-23 23:36:25 211

原创 Hive DDL之表操作

CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [COMMENT col_comment...

2019-08-23 22:14:32 296

原创 Hive DDL之数据库操作

DDL：Hive Data Definition LanguageHive数据定义语言CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTION, INDEXDROP DATABASE/SCHEMA, TABLE, VIEW, INDEXTRUNCATE TABLEALTER DATABASE/SCHEMA, TABLE, VIEWMSCK REPAI...

2019-08-23 17:37:47 189

原创 hive快速入门

首先需要安装数据库MySQLhttps://www.cnblogs.com/julyme/p/5969626.html之后开启mysql，之前在hive-site.xml里面配置了数据库的用户和密码都是root之后开启hivehive> create database test_db;之后进去MySQLuse hadoop_hive;show tables;可以看...

2019-08-23 15:30:45 194

原创 Hive部署

首先需要到官网上下载与hadoop相对应的hive版本https://archive.cloudera.com/cdh5/cdh/5/之后下载到服务器上进行解压tar -zxvf hive-1.1.0-cdh5.15.tar.gz -C ~/app解压之后如图之后设置系统环境变量之后设置修改后需要source使配置生效source ~/.bash_profile...

2019-08-23 10:46:15 201

原创 Hive与RDBMS的区别

对比Hive关系型数据库查询语言HQLSQL数据存储HDFSRaw Device or Local FS执行器MRExcutor数据插入支持批量导入/单条插入支持单条或者批量导入数据操作覆盖追加行级更新删除执行延迟高小处理数据规模大小分区支持支持扩展性高有限索引0.8版本之后加入简单索...

2019-08-23 10:20:22 266

原创 Hive体系架构

Hive体系架构client（客户端）：shell、Thrift（协议）、WebUICommand-line shell：可以直接在命令行上写命令，写完直接提交到Hive引擎上去。Thrift：一种协议需要java代码，通过jdbc提交（thrift/jdbc）(server/jdbc)WebUI(HUE/Zepelin)：通过可视化展示metastore:==>MySQLd...

2019-08-23 09:30:41 422

原创为什么要使用Hive

简单、容易上手为超大数据集设计的计算/扩展能力统一的元数据管理Hive数据存放在HDFS上，元数据信息是存放在Mysql中，元数据{（表名字、表字段、表字段类型、存放在HDFS的位置）记录数据的数据。}SQL on hadoop ：Hive、Spark SQL、impala…构建于Apache Hadoop之上，提供以下功能：通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提...

2019-08-23 08:58:34 1547

原创 Hive是什么

Hive概述：由Facebook开源，用于解决海量结构化日志的数据统计问题构建在Hadoop之上的数据仓库Hive提供了SQL查询语言：HQL底层支持多种不同的执行引擎Hive底层支持执行引擎：MR、Tez、SparkThe Apache Hive ™ data warehouse software facilitates reading, writing, and managi...

2019-08-23 08:42:07 441

原创数据仓库Hive

Hive产生背景MR编程的不便性传统RDBMS人员的需要HDFS上的文件并没有schema的概念表名、字段名称之为schema在传统的MR编程中，就一个简简单单的词频统计案例，需要map、reduce类继承官方的Map、Reduce类，最后还需要java类，来规定文件统计的输入、输出的类型和路径，是非常麻烦的。这就是无形的提高了MR编程的难度。一旦产品经理提出了需求，你就要修改代码...

2019-08-23 08:33:22 93

原创 ETL对数据清洗

ETL描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。有时候面对大量的数据，我们不方便进行计算，这个时候就需要进行相应的维度分析，解析出你需要的字段，去除一些你不需要的字段，然后进行分析package project.mrv2;import com.imooc.bigdata.hadoop.hdfs.mr.project.util...

2019-08-22 17:32:52 5524 5

原创用MR统计页面浏览量页面编号功能

package project.mr;import com.imooc.bigdata.hadoop.hdfs.mr.project.utils.ContentUtils;import com.imooc.bigdata.hadoop.hdfs.mr.project.utils.LogParser;import org.apache.hadoop.conf.Configuration;i...

2019-08-22 16:37:25 220

原创页面浏览量统计之页面编号获取

package com.imooc.bigdata.hadoop.hdfs.mr.project.utils;import org.junit.After;import org.junit.Before;import org.junit.Test;import java.util.Map;public class LogParseTest { LogParser logP...

2019-08-22 16:23:14 368

原创用MR统计省份流量

package project.mr;import com.imooc.bigdata.hadoop.hdfs.mr.project.utils.IPParser;import com.imooc.bigdata.hadoop.hdfs.mr.project.utils.LogParser;import org.apache.commons.lang.StringUtils;import...

2019-08-22 16:21:12 322 3

原创省份流量统计之日志解析

LogParser.javapackage com.imooc.bigdata.hadoop.hdfs.mr.project.utils;import org.apache.commons.lang.StringUtils;import java.util.HashMap;import java.util.Map;public class LogPaeser { pub...

2019-08-22 11:51:04 719

原创省份浏览量统计之IP库解析

IPParser.javapackage com.imooc.bigdata.hadoop.hdfs.mr.project.utils;public class IPParser extends IPSeeker { // 地址仅仅只是在ecplise环境中使用，部署在服务器上，需要先将qqwry.dat放在集群的各个节点某个有读取权限目录， // 然后在这里指定全路径 ...

2019-08-20 22:25:09 419

原创浏览量统计功能实现

这是代码package project.mr;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org....

2019-08-20 21:52:29 2894 6