tiand7的博客

data analytics fastboth fast to run and fast to wrtie

介绍：Scala 是 Scalable Language 的简写，是一门多范式的编程语言联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。Scala是把函数式编程思想和面向对象编程思想结合的一种编程语言。大数据计算引擎Spark由Scala编写 特点：特点Scal

一起重新开始学大数据-数据采集工具篇-day 57 sqoopSqoop简介概述  将关系数据库（oracle、mysql、postgresql等）数据与hadoop数据进行转换的工具、官网： http://sqoop.apache.org/版本：（两个版本完全不兼容，sqoop1使用最多）  sqoop1：1.4.x  sqoop2：1.99.x同类产品  DataX：阿里顶级数据交换工具Sqoop安装  sqoop架构非常简单，是hadoop生态系统的架构最简单的框架。

一起重新开始学大数据-Hbase篇-day 57 Hbase调优????文章目录????1、预分区2、Rowkey设计①设计原则②热点问题3、In memory4、Max Version5、Compact&split6、BulkLoading①代码②说明1、预分区Pre-Creating Regions（预分区） 概述：  默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候， 所有的HBase客户端都向这一个region写数据，直到这个region足够大

一起重新开始学大数据-Hbase篇-day 56 Phoenix????文章目录????Phoenix概述1、Phoenix搭建及基本操作1、关闭hbase集群，在master中执行2、上传解压配置环境变量3、将phoenix-4.15.0-HBase-1.4-server.jar复制到所有节点的hbase lib目录下4、启动hbase ， 在master中执行5、配置环境变量2、Phoenix使用1、连接sqlline2、常用命令3、phoenix表映射3.1、视图映射3.2、表映射3、Phoeni

一起重新开始学大数据-Hbase篇-day 55 浅谈布隆过滤器、Hbase读写、Hbase的HA和Mapreduce读写Hbase数据目录浅谈布隆过滤器Hbase的读写Hbase的HA（高可用）Mapreduce读写Hbase数据浅谈布隆过滤器概述：    Bloom Filter（布隆过滤器）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删

一起重新开始学大数据-Hbase篇-day 54 Hbase基础知识   前言    HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是

一起重新开始学大数据-Hbase篇-day 53 Hbase安装及简析  搭建Hbase1、启动hadoopstart-all.shweb验证是否开启http://master:50070jps验证是否开启2、启动zookeeper需要在在三台中分别启动zkServer.sh start验证是否开启zkServer.sh status开始搭建hbase1、上传解压配置环境变量tar -xvf hbase-1.4.6-bin.tar.gz -C /usr/local

Hive 常用函数关系运算等值比较 = == <=>不等值比较 != <><=>与=和==是等于的意思，<> 与!=都是不等于的意思，但是一般都是用<>来代表不等于，因为<>在任何SQL中都起作用，但是!=在sql2000中用到，则是语法错误，不兼容的（同理=和<=>也是）区间比较： select * from default.students where id between 1500100001

一起重新开始学大数据-hadoop篇-day 51 数据类型 、DDL、DMLSQL的小贴士（tips）：1、count(*)、count(1) 、count(‘字段名’) 区别  count(*)：所有行进行统计，包括NULL行  count(1)：所有行进行统计，包括NULL行  count(‘字段名’)：对字段中非Null进行统计结果差距不大但是受到集群影响执行时间有差异， 执行时间：count(*)>count('字段名')count(1)2、HQL 执行优先级：fro

Hive建表CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name // 定义字段名，字段类型 [(col_name data_type [COMMENT col_comment], ...)] // 给表加上注解 [COMMENT table_comment] // 分区 [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] // 分桶 [CLUSTE

一起重新开始学大数据-hadoop篇-day49 Hive简介和安装理论部分hive概述  Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理

一起重新开始学大数据-hadoop篇-day48 YarnYarnYarn概述yarn：资源调度系统  运算资源：运算程序jar、配置文件、cpu、内存、IO  只负责程序运行所需资源的分配回收等调度任务，与应用程序的内部运作机制完全无关，所以yarn已经成为了通用资源调度平台，许许多多的运算框架都可以借助它来实现资源管理，such as ：MR、spark、storm、TEZ、Flink…yarn核心组件功能YARN ClientYARN Client提交Application到RM

一起重新开始学大数据-hadoop篇-day47 mapreduce（总）MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题.MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。Reduce阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据【在这先把reduce理解为一个单独的聚合程序即可】。MapRe

一起重新开始学大数据-hadoop篇-day46 Hdfs、yarn的HA，mapreduce（1）HA(高可用)HDFS的HA相较于Hadoop1.x ，Hadoop2.x中的HDFS增加了两个重要特性，HA和Federation。HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。Federation即为“联邦”，该

一起重新开始学大数据-hadoop篇-Day45-hadoop启动脚本详细启动脚本介绍第一种：全部启动集群所有进程启动：sbin/start-all.sh停止：sbin/stop-all.sh第二种：单独启动hdfs【web端口50070】和yarn【web端口8088】的相关进程启动：sbin/start-dfs.sh sbin/start-yarn.sh停止：sbin/stop-dfs.sh sbin/stop-yarn.sh每次重新启动集群的时候使用第三种：单独启动某一个进程

最常用命令-ls 查看hdfs上目录，如 hdfs dfs -ls /-put 将本地文件上传到hdfs，如hdfs dfs -put 本地文件路径 hdfs路径-get 将hdfs文件下载到本地，如 hdfs dfs -get hdfs文件路径 本地文件路径-mkdir 在hdfs 上创建文件夹，如hdfs dfs -mkdir /test-cp 将hdfs文件或目录复制 如 hdfs dfs -cp /test.txt /a/-cat 查看hdfs上文件内容

一起重新开始学大数据-hadoop篇-Day44-Hadoop、hdfs概述架构简析，Hadoop集群搭建科普环节概念、名词科普Apache基金会是专门为支持开源软件项目而办的一个非盈利性组织服务器(节点)可以理解为我们的一台笔记本/台式机在这里可以认为是我们的一台虚拟机后面学习中，我们会把一台服务器称为一个节点机架负责存放服务器的架子Hadoop概述：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台。作者Doug Cutting 受Google三篇论文的启发

一起重新开始学大数据-hadoop先导篇-Day42-Redis的主从复制和集群搭建目录主从复制 Replication主从复制 Replication概述主从复制创建主从复制具体步骤主从复制演示主从复制注意Redis集群Redis集群节点复制Redis集群故障转移（哨兵机制）Redis集群分片Redis集群Redirect转向Redis集群搭建集群搭建具体步骤：Redis集群总结主从复制 Replication主从复制 Replication概述特点：一个Redis服务可以有多个该服务的复

一起重新开始学大数据-hadoop先导篇-Day42-Redis的列表、散列、set集合、Sorted和Redis持久化列表特点基于Linked List实现元素是字符串类型列表头尾增删快，中间增删慢，增删元素是常态元素可以重复出现最多包含2^32-1元素列表的索引从左至右，从0开始从右至左，从-1开始增加左右或者头尾压入元素LPUSH key value [value ...]LPUSHX key valueRPUSH key val

一起重新开始学大数据-hadoop先导篇-Day41-Redis安装及基本命令科普环节Redis是什么？开源的（BSD协议），使用ANSI C 编写，基于内存的且支持持久化，高性能的Key-Value的NoSQL数据库支持数据结构类型丰富，有如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围- 查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。

一起重新开始学大数据-hadoop先导篇-Day40-初识Springboot科普环节什么是springbootSpring框架是java平台上的一种开源应用框架。尽管Spring框架自身对编程模型没有限制，但其在Java应用中的频繁使用让它备受青睐，以至于后来让它作为EJB（EnterpriseJavaBeans）模型的补充，甚至是替补。SpringBoot是Spring社区发布的一个开源项目，在帮助开发者快速并且更简单的构建项目。它使用习惯优于配置的理念让你的项目快速运行起来，使用Spring

科普环节java三层架构表现层（JSP）采用MVC模式。M称为模型，也就是实体类。用于数据的封装和数据的传输。V为视图，也就是GUI组件，用于数据的展示。C为控制，也就是事件，用于流程的控制。业务层（逻辑层、service层）采用事务脚本模式。将一个业务中所有的操作封装成一个方法，同时保证方法中所有的数据库更新操作，即保证同时成功或同时失败。避免部分成功部分失败引起的数据混乱操作。持久层（DAO）采用DAO模式，建立实体类和数据库表映射（ORM映射）。也就是哪个类对应哪个表，哪个属性对应

互联网架构变迁转载自-https://segmentfault.com/a/1190000008016139–作者：黄庆兵互联网在变，架构也在变，架构的变迁亦是互联网的变迁。所以，我们有必要来聊聊互联网的架构及其变迁。何为架构？往大的说，宇宙有架构，社会有架构，往小的说，建筑要有架构，软件要有架构，往玄乎的说，它由分工而来，回归整体而去，往实际的说，架构的核心就是为了解决问题，包括业务的问题、人的问题。立足互联网行业，架构通常指的是技术架构，更具体一点的说是系统架构、软件架构，或者是最常见的网站架

一起重新开始学大数据-maven篇-Day38-maven先导篇科普部分-mavenmaven 概述如今,我们构建一个项目需要用到很多第三方的类库，如写一个使用Spring的Web项目就需要引入大量的jar包。一个项目Jar包的数量之多往往让我们瞠目结舌，并且Jar包之间的关系错综复杂，一个Jar包往往又会引用其他Jar包，缺少任何一个Jar包都会导致项目编译失败。以往开发项目时，程序员往往需要花较多的精力在引用Jar包搭建项目环境上，而这一项工作尤为艰难，少一个Jar包、多一个Jar包往往会.

一起重新开始学大数据-MySQL篇-Day37-sql(5)shell操作mysqlshell操作mysql#!/bin/shMYSQL="mysql -hmaster -uroot -p123456"sql="select * from shujia.student where sex='0'"result="$($MYSQL -e "$sql")"echo -e "$result"java操作mysql导入第三方工具包file->project structure-&

一起重新开始学大数据-MySQL篇-Day36-sql(4) case:值的替换格式:case when 条件 then 为true的结果 [when 条件 then 为true的结果] [else 为false的结果] end背景：发现查询性别的时候，写的是0或1解决：使用case，进行值得替换SELECT name, CASE WHEN sex=1 THEN ‘女’ ELSE ‘男’ END AS 性别 FROM students;从其他表加载数据（备份，复制）格式1:crea

一起重新开始学大数据-MySQL篇-Day35-练习题练习： 将下列数据插入mysql表,完成所给查询需求 创建员工表DROP TABLE IF EXISTS `emp`;CREATE TABLE `emp` ( `EMPNO` int(4) NOT NULL, `ENAME` varchar(10) DEFAULT NULL, `JOB` varchar(9) DEFAULT NULL, `MGR` varchar(10) DEFAULT NULL, `HIREDATE`

一起重新开始学大数据-MySQL篇（2）日期函数获取当前日期:current_timestamp;–所有current_timestamp();–所有CURRENT_DATE();-- 年月日CURRENT_DATE;-- 年月日CURRENT_TIME();-- 时分秒CURRENT_TIME;-- 时分秒时间转str格式:date_format(date,format)date:时间format:格式SELECT DATE_FORMAT(CURRENT_DAT

一起重新开始学大数据-MySQL篇-(1)什么是数据库数据库是数据的仓库与普通的数据仓库不同的是,数据库依据数据结构来组织数据,因为数据结构的存在,所以看到的数据时条理化的数据库和普通文件系统的区别在于:数据库拥有数据结构,能都快速查找对应的数据常说的XX数据库,其实就是XX数据库管理系统:数据库管理系统是一个软件,是数据库服务的体现数据库分为关系型数据库和非关系型数据库：.关系型:以行作为记录,列数相同.非关系型:以列作为记录,行数随便什么是关系型数据库关系型数据库是依据

一起重新开始学大数据-Linux篇-Day32-shell脚本（2）、时间、定时器、安装MySQLshell 脚本（2）函数格式:function 方法名(){方法体return 数字;}注意:function和return可加可不加$0…$n表示接收参数,$0永远是脚本名称(忽略)方法的调用直接使用方法名不加()return只能返回数字范围在0-255之间$?接收返回值只能接收一次案例：[root@tt shell]# cat fun.sh #!/bin/en

一起重新开始学大数据-Linux篇-Day31-shell脚本（1）Shell 介绍前言：计算机只能认识（识别）机器语言(0和1)，如（11000000 这种）。但是，我们的程序猿们不能直接去写01这样的代码，所以，要想将程序猿所开发的代码在计算机上运行，就必须找"人"（工具）来翻译成机器语言，这个"人"(工具)就是我们常常所说的编译器或者解释器。编译和解释型语言区别1. 编程语言分类编译型语言：​ 程序在执行之前需要一个专门的编译过程，把程序编译成为机器语言文件，运行时不需要重新翻译，

Day30-克隆虚拟机（续）-修改ip，添加映射关系，配置ssh免密，启动模式????克隆两台虚拟机加master 三台组成一个集群所克隆的虚拟机需要修改主机名,ip永久修改主机名hostnamectl set-hostname node1或node2例如：(在node2的虚拟机中)ip方式1:通过可视化界面直接修改方式2:vim /etc/sysconfig/network-scripts/ifcfg-ens33然后重启网络:service network resta

day29 shell命令（2）、用户组、Linux下jdk、克隆虚拟机使用工具：xshell链接：https://pan.baidu.com/s/1KTMbmVLfszkHwepgYiT88g提取码：fztdxftp链接：https://pan.baidu.com/s/1_OjPjk-Fsf5eK_dDmUSNQg提取码：1i38安装提示：先安装Xshell，再装Xftp,防止冲突打不开使用Xshell、xftp用户和用户组用户在/etc/passwd中用户组在

DAY28-shell命令、编辑模式和配置映射文件linux目录结构bin: 存储普通命令sbin: 存储超级命令home: 存储普通用户root: 存储超级用户usr /usr/local:下存储数据或软件tmp: 临时目录 迎来存放临时数据关于网络常用命令 ifconfig: 查看网络–.service network restart :重启网络hostname: 查看主机名hostnamectl set-hostname 主机名:永久修改主机名s

day27-开始学系统得shell命令需要得工具VMwarecentOS（本案例用的是，VMware14 和centOS7）个人觉得有点好，Vmware16也不错没有软件工具的，这里搞个分享:VMware链接：https://pan.baidu.com/s/1C7Cd2LDiPgMQZ_HZVa3rCw 提取码：wareVMware14密钥链接：https://pan.baidu.com/s/1Fn1JmH79rbhhk5ldXk2Z9g 提取码：warecentOS7

1.1类加载当程序要使用某个类时，如果该类还未被加载到内存中，则系统会通过类的加载，类的连接，类的初始化这三个步骤来对类进行初始化。如果不出现意外情况，VM将会连续完成这三个步骤，所以有时也把这三个步骤统称为类加载或者类初始化类的加载:将class文件(源文件)读取内存,并创建对应的Class对象任何类被使用时,系统都会创建一个java.lang.Class对象类的连接验证阶段:检验被加载的类和相关类(父类/接口)内部结构是否合法准备阶段:负责为类中的变量分配内存,并设置默认值解析阶段:将

java篇-DAY25-TCP协议3.TCP通信程序3.1 TCP通信原理TCP通信协议是一种可靠的网络协议，它在通信的两端各建立一个Socket对象，从而在通信的两端形成网络虚拟链路，一旦建立了虚拟的网络链路，两端的程序就可以通过虚拟链路进行通信Java对基于TCP协议的的网络提供了良好的封装，使用Socket对象来代表两端的通信端口，并通过Socket产生IO流来进行网络通信Java为客户端提供了Socket类，为服务器端提供了ServerSocket类3.2TCP发送数据发送数据的步骤

1.网络编程入门1.1网络编程概述计算机网络是指将地理位置不同的具有独立功能的多台计算机及其外部设备，通过通信线路连接起来，在网络操作系统，网络管理软件及网络通信协议的管理和协调下，实现资源共享和信息传递的计算机系统网络编程在网络通信协议下，实现网络互连的不同计算机上运行的程序间可以进行数据交换1.2网络编程三要素IP地址要想让网络中的计算机能够互相通信，必须为每台计算机指定一个标识号，通过这个标识号来指定要接收数据的计算机和识别发送的计算机，而IP地址就是这个标识号。也就是设备的标识端

DAY22-多线程(2)资源共享、模拟hadoop案例????????????????????????????河南加油！！！2.什么是资源共享2.1卖票案例需求:某电影院目前正在上映国产大片，共有100张票，而它有3个窗口卖票，请设计一个程序模拟该电影院卖票思路：①定义一个类SellTicket实现Runnable接口，里面定义一个成员变量: private int tickets = 100;②在SellTicket类中重写run0方法实现卖票，代码步骤如下A:判断票数大于