- 博客(51)
- 收藏
- 关注
RSS订阅原创 前端day01
什么是网页网页是指网站中的一页，通常是HTML格式的文件，他要通过浏览器来阅读网页是构成网站的基本元素，它通常由图片、链接、文字、声音、视屏等元素组成。通常我们看到的常见的.htm或.html后缀结尾的文件，因此将其称为HTML文件什么是HTML常文本标记语言，用来描述网页的一种语言...
2020-06-10 16:35:40
173
原创 数据表设计--范式
第一范式 1NF数据表中 的所有字段都是不可分割的原子值以上字段值address还可以继续拆分，就不满足第一范式范式设计的越详细对于某些实际操作可能会好，但不一定是最好的，以实际发开需求来确定第二范式必须满足第一范式的前提下，第二范式要求除主键外的每一列都完全依赖与主键，如果出现不安全依赖，只可能发生在联合主键的情况下分成三个表之后就满足了第二范式的设计第三范式必须先满足第二范式,除开主键列其他列不能有传递依赖关系以上customer-phone依赖.
2020-05-11 14:24:29
210
原创 MySQL
MySQL建表约束 主键约束（primary key） 能够唯一确定一张表中的一条记录，通过给耨个字段添加约束石特改字段不重复且不为空create table user( id int primary key, name varchar(20));注：id 不能为空且不重复create table user2 (id int, name varchar(200）， password varchar(20), primary key(id,n...
2020-05-09 16:06:19
283
原创 transformation和action介绍
spark支持两种RDD操作:transformation和actiontransformation操作会针对已有的RDD创建一个新的RDD,而action主要对RDD进行最后的操作,比如遍历,reduce,保存文件等,并可以返回结果给drive程序例如map就是一个transformation操作,他作用域已有RDD的每个元素传入一个自定义的函数,并获取一个新的元素,然后所有的新元素组成一个...
2019-10-22 20:42:34
614
原创 spark介绍
RDD是spark提供的核心,即弹性分布式数据集基本概念：Application：用户编写的Spark应用程序。Driver：Spark中的Driver即运行上述Application的main函数并创建SparkContext，创建SparkContext的目的是为了准备Spark应用程序的运行环境，在Spark中有SparkContext负责与ClusterManager通信，进行资源申...
2019-10-22 20:04:12
309
原创 scala隐式转换与隐式参数
scala提供的隐式转换和隐式参数的功能,是非常有特色的,是Java中所没有的,他允许你手动指定,将某种类型的对象转换为其他类型的对象scala的隐式转换其实最核心的就是定义隐式转换函数,即implicit conversion function。定义隐4不会有用户手动调用式转换函数只要在编写的程序内引入就会被scala自动使用.scala会隐式转换函数的签名,在程序中使用到隐式转换函数接收的...
2019-10-21 15:06:41
122
原创 spark安装
第一步:下载安装包第二步:上传至Hadoop第三步:解压tar -zxvf spark-1.5.1-bin-hadoop2.4.tgz -C /home/hadoop/apps第四步:配置spark进入到Spark安装目录cd /home/hadoop/apps/spark-1.5.1-bin-hadoop2.4进入conf目录并重命名并修改spark-env.sh.tem...
2019-10-21 14:37:45
220
原创 scala类型参数
类型参数骑士就是Java中的泛型,比如我们有List a = new ArrayList()，接着a.add(1)，没问题，a.add(“2”)，然后我们a.get(1) == 2，对不对？肯定不对了，a.get(1)获取的其实是个String——“2”，String——"2"怎么可能与一个Integer类型的2相等呢？所以Java中提出了泛型的概念，其实也就是类型参数的概念，此时可以用泛型创建...
2019-10-19 14:39:09
216
原创 scala模式匹配
模式匹配是scala非常有特色的非常强大的一种功能,模式匹配骑士类似于Java中的swich case 语法,即对一个值进行条件判断,然后针对不同的条件,进行不同的处理.但是scala中的模式匹配功能要强大的多,Java中的swich case 语法只能对值匹配,但是scala中的模式匹配除了可以对值进行匹配,还可以对类型进行匹配,对Array和LIst的元素情况进行匹配,对case class...
2019-10-19 14:00:31
224
原创 scala编程之集合(一)
scala的集合体系结构scala的集合体系结构主要包括:lterable,Seq,Set,Map其中lterable是所有集合trait的跟trait,这个结构与Java的集合体系非常相似scala中的集合非为可变的和不可变的两类集合;其中可变的集合就是说集合的元素可以动态修改,而不可变集合就是在初始化之后就无法修改了.分别对应scala.collection.mutable和scala....
2019-10-17 20:38:10
238
原创 scala函数式编程
scala中函数是Java中完全没有的概念,因为Java是完全面向对象的编程语言,没有任何面向过程语言的特性,因此Java中的一等公民是类和对象,而且Java只有方法的概念,即寄存和依赖于类和对象的方法.Java中的方法时不可能脱离类和对象独立存在的.scala是一门既有面向对象又有面向过程的语言,因此在scala中有非常好的面向对象的特征,可以使用scala来基于面向对象的思想开发大型复杂的系...
2019-10-17 19:57:15
138
原创 scala编程对象值Trait
将trait作为接口使用scala中trait是一种特殊的概念首先我们可以将trait作为接口来使用,此时的trait就与Java中的接口非常类似在trait中可以定义抽象方法,就与抽象类中的抽象方法一样,只要不会给出方法的具体实现即可类可以使用extend关键字继承trait,注意不是implement二十extend,在scala中没有implement的概念,无论继承类还是trait...
2019-10-16 20:51:04
166
原创 scala面向对象之继承
extendsscala中,让子类继承父类,与Java一样,也可以使用extends关键字继承就代表子类可以从父类继承父类的field和method,然后子类可以在自己内部放入父类所没有,子类特有的field和method;使用继承可以提高代码复用性子类可以覆盖父类的field和method;但是如果父类用final修饰field和method,则该类是无法被继承的,field和method...
2019-10-16 20:18:05
324
1
原创 scala面向对象编程之对象
objectobject相当于class的单个实例,通常在里面放一些静态的field或method第一次调用object的方法时,就会执行object的constructor,也就是object内部不在method中的代码,但是object不能定义接受参数的constructor注:object的constructor只会在其第一次被调用时执行一次,以后再调用就不会再执行constructo...
2019-10-16 19:27:38
363
5
原创 Scala面向对象之类
定义一个简单的类函数:类外部定义的def方法:类内定义的def注:如果定义的def后的方法名没加(),在调用的时候就不能加()定义def的方法名加了()时,调用可以加(),也可以不加()定义类,包含filed以及方法class HelloWorld{private var name = "leo"def sayHello(){print("Hello" + name)}def ...
2019-10-15 19:20:04
124
原创 Scala day01
Scala是基于Java虚拟机,也就是JVM的一门编程语言,所以有Scala代码都需要经过编译为字节码,然后由Java虚拟机运行.Scala和Java是可以无缝互操作的,Scala可以任意调用Java的代码.Scala解释器REPL:会快速编译Scala代码为字节码,然后交给JVM来执行.计算表达式:在Scala内部命令行内输入Scala代码,解释器会直接返回结果,如果没有指定变量来存放这...
2019-10-14 21:03:57
317
原创 hbase基础框架
hbase依赖于hdfs，除此之外，客户端还可以通过java api 操作hbase ，中间则为hbase的基础架构，分为，Hmaster，Region Server ，ZookeeperHMasterHMaster 是HBase主从集群架构中的中央节点HMaster将Region分配给RegionServer，协调RegionServer的负载均衡并维护集群的状态维护表和Region的...
2019-10-11 14:01:12
304
原创 zookeeper拒绝连接常见问题
问题一.检查配置首先查看zookeeper版本与JDK版本是否兼容检查配置信息vim zoo.cfg修改以下内容dataDir=/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatasautopurge.snapRetainCount=3autopurge.purgeInterval=1server.1=node01:2888:38...
2019-10-11 11:07:06
2734
原创 HBASE基本操作
1.进入HBASE客户端操作界面bin /hbase shell2.查看帮助命令hbase(main):001:0> help3.查看当前数据库有哪些表hbase(main):001:0>list4.创建一张表创建user表,包含info和data两个列族hbase(main):001:0>create 'user' ,'info','data'或者h...
2019-10-11 10:32:57
385
原创 HBase
HBase基本介绍HBase是一个Nosql数据库,以列的方式进行数据的存储和管理.HBASE和Hadoop是紧耦合关系hive与HBASE都是实时读写数据库,其中hive读写慢,适合离线处理,HBASE实时读写快,因为有索引rowkeyhbase存储结构化或半结构化的松散数据.hive存储结构化数据注意:松散数据:有空数据则不写紧密数据:有空数据用nullHBASE支持的类型为...
2019-10-10 20:45:03
167
原创 zookeeper和Hbase安装
zookeeper安装准备安装包上传至home/Hadoop/apps解压在zookeeper下创建zkdatas修改配置文件[root@hadoop01 conf]# vim zoo.cfg在home/hadoop/apps/zookeeper-3.4.9/zkdatas/下创建名为myid的文件安装包分别发到Hadoop02和Hadoop03在Hadoop02上修改...
2019-10-10 19:19:52
170
原创 Flume day01
典型大规模离线数据处理平台图Flume (日志采集框架)概念:flume是一个分布式,可靠,高可用的海量日志采集,聚合和传输的系统,fiume可以采集socket数据包,文件,文件夹,kafka等形式的源数据,还可以将采集到的数据下沉(sink)输出到hdfs,HBASE,hive,kafka等外部存储系统中.运行机制:Fiume分布式系统中最核心的角色是agent,Fiume采集系...
2019-09-28 17:44:40
177
原创 hive day05
排序全局排序 order by查询学生的成绩,按照分数降序排列select * from student s left join score sco on s.id=sco.id order by sco.s_score desc查询学生的成绩，并按照分数升序排列 select * from student s left join score sco on s.s_id = sco....
2019-09-28 11:20:17
122
原创 hive day04
rownumber() 和 over()函数row_number() over()分组排序功能：vi score.txt姓名,学科id,分数zhangsan,1,90zhangsan,2,95zhangsan,3,68lisi,1,88lisi,2,95将以上数据求每个人的前两高的分数建表hive> create table t_score(name string,kc...
2019-09-26 14:16:17
201
原创 hive day03
修改列新建表t_seqhive> create table t_seq like test_1;添加列hive> alter table t_seq add columns(address string,age int);全部替换hive>alter table t_seq replace columns(id int,name str...
2019-09-25 20:26:03
980
原创 hive day02
分区关键字 partition by建表test_44 hive> create table test_44(ip string,url string,staylong int) partitioned by (day string) row format delimited fields terminated by ',';准备数据[root@hdp01...
2019-09-24 19:12:17
147
原创 mysql权限设置
进入mysql的命令行模式，设置权限mysql -uroot -p123456设置权限mysql>create user 'hive' identified by 'hive';mysql>GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'hive' WITH GRANT OPTION; mysql>g...
2019-09-23 19:23:09
213
1
原创 MySQL语句
在本地跳过密码登录mysql_safe --skip-grent-tables &查看登录用户select user();修改用户密码set password=password('123456');切换进入数据库或表use 库名/表名;查看所有参数show variables;模糊查询,%匹配所有show variable like "% %";例sh...
2019-09-19 21:03:52
121
原创 安装数据库MySQL
安装MySQL●创建MySQL用户 $useradd -s /sbin/nologin mysql●创建文件夹 $mkdir /application●上传文件 $yum -y lrszs rz 选择MySQL安装包●解压文件$tar xf 文件名 -C /application/ 其中-C指定文件夹●创建软连接$ln -s 原文件名 ...
2019-09-18 20:55:00
196
原创 mysql在CentOS7.2下的安装
在CenOS7-2的基础上安装安装docker●要求ConOS系统内科半杯高于3.10,所以先查看是否符合$ uname -r●使用root权限登录cenos,确定yum包是最新的$sudo yum update●如果安装过旧版本先卸载,没有则跳过此步$ sudo yum remove docker docker-common docker-selinux docker-engin...
2019-09-17 17:05:04
166
原创 CentOS7-2安装
打开虚拟机1选择创建新虚拟机2.选择自定义安装3.虚拟机兼容性选择4.选择稍后安装操作系统5.操作系统选择,版本选择CenOS 7 64位6.设置虚拟机名字和安装位置7.内存处理器与内存分配根据主机内存分配8.选择桥接模式9.控制器选择10.磁盘容量11.磁盘名称,默认即可12.完成创建安装CenOS12连接13.选择镜像(CenOS7-2...
2019-09-17 16:41:27
219
原创 MapReduce案例2
案例1.统计一个单词分别在每个文件中出现几次第一个MapReducepackage com.doit.index;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.had...
2019-09-17 15:52:33
151
原创 MapReduce工作流程
MapReduceMapReduce主要思想:分而治之map阶段主要负责"分",将一个file文件分成若干个小文件reduce阶段负责"合",将map阶段分开的小文件合成一个reduce输出.MapReduce主要分为四个阶段Split、Map、Shuffle、Reduce 这四个阶段.其中1.Split(分片输出)2.map阶段Split 阶段的输出作为 Map 阶段的输入，sp...
2019-09-17 15:35:03
949
原创 MapReduce案例1
HadoopMapReduce案例案例1WordcountMap类package wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.m...
2019-09-16 19:40:13
594
原创 大数据day02
crontab用于定时查看crontab服务状态>>service crond start-e：编辑某个用户的crontab文件内容。如果不指定用户，则表示编辑当前用户的crontab文件。-l：显示某个用户的crontab文件内容，如果不指定用户，则表示显示当前用户的crontab文件内容。-r：删除定时任务配置，从/var/spool/cron目录中删除某个用户的cront...
2019-08-29 17:39:55
148
原创 大数据01day
基本日常操作命令Linux的文件系统bin :存放一些课执行的命令(程序)boot:存放系统启动所需要ode一些文件dev :系统中的设备(硬件在Linux中通过文件来标识)etc :存放配置文件的地方home:用户目录的总目录lib lib64:系统库目录mnt:用于挂载外部存储设备的文件root:是root用户的主目录sbin: 存储一些系统级的可执行命令,只有拥有ro...
2019-08-29 15:26:13
154
原创 python(线程)
线程通信cond只有一个，线程1线锁定cond，当线程1跑到i==5的时候,此时进入condition等待，将资源释放出来，这时候线程2进入，一口气全部跑完i，跑到最后以cond.notifly通知将资源再放出来，此时线程1重新锁定import threadingimport timedef go1(): with cond: for i in range(1...
2019-08-28 14:48:38
168
原创 python基础(线程)
线程线程资源共享,所以没有共享方法python多进程创建的两种方式函数 : 通过类可以创建一个进程对象，然后p.start()即可开启进程，函数是你想进程实现的功能。import _threadimport timedef go(): for i in range(5): print(i,"-------") time.sleep(1)fo...
2019-08-22 17:33:31
141
原创 python (进程)
进程import multiprocessingdef info(title): print(title) print(__name__) print('--------')if __name__ == "__main__": # 除了创建的子进程和子进程调用函数，其他的都是脚本主进程 # info('hello') # 创建一个子进程调用函数 ...
2019-08-21 17:49:19
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人