「已注销」-CSDN博客

原创解析op.log日志

解析op.log日志op.log内容如下:1593136280858|{"cm":{"ln":"-55.0","sv":"V2.9.6","os":"8.0.4","g":"C6816QZ0@gmail.com","mid":"489","nw":"3G","l":"es","vc":"4","hw":"640*960","ar":"MX","uid":"489","t":"1593123253541","la":"5.2","md":"sumsung-18","vn":"1.3.4","ba":"Su

2020-11-22 22:47:53 408

原创 Spark RDD常用算子

Spark RDD常用算子一、parallelize调用SparkContext 的 parallelize()，将一个存在的集合，变成一个RDD，这种方式试用于学习spark和做一些spark的测试scala版本scala的parallelize有两个参数，第一个是一个Seq集合，第二个是分区数，如果没有则会是默认分区数scala版本可以选择makeRDD替换parallelize，java版本则没有val rdd = sc.parallelize(List("A","B","C"))val

2020-11-22 22:06:36 331

原创 Scala Array方法一览

Scala：Array(集合、序列)1、++合并集合，并返回一个新的数组，新数组包含左右两个集合对象的内容。(不去重)val a=Array(1,2,3)val b=Array(4,5,6)val c= a ++ b2、++:合并集合，并返回一个新的数组，右边操纵数的类型决定着返回结果的类型val a = List(1,2)val b = scala.collection.mutable.LinkedList(3,4)val c = a ++: b注：c的类型是：scala.col

2020-11-22 21:39:29 527

原创 Spark安装

Spark安装1、下载并上传scala安装包至linux的software目录下2、解压安装包至/opt目录下，重命名Scalatar -zxvf scala-2.11.12.tgz -C /opt/cd /opt/mv scala-2.11.12/ scala3、修改环境变量vi /etc/profile//添加内容如下：export SCALA_HOME=/opt/scalaexport PATH=... :$SCALA_HOME/bin:$PATH环境变量修改完成后

2020-11-22 21:12:43 206

原创 Scala型变

Scala型变协变class Foo[+T] // 协变类对于两种类型 A 和 B，如果 A 是 B 的子类型，那么 Foo[A] 就是 Foo[B] 的子类型逆变class Bar[-T] // 逆变类对于两种类型 A 和 B，如果 A 是 B 的子类型，那么 Bar[B] 就是 Bar[A] 的子类型不变class Baz[T] // 不变类默认情况下，Scala中的泛型类是不变的...

2020-10-29 15:51:50 169 1

原创 Scala特质

特质回顾一下Java接口如何声明接口interface接口名如何实现接口class 实现类类名 implements 接口名说明:1)在Java中，一个类可以实现多个接口2)在Java中，接口之间支持多继承3)接口中属性都是常量接口中的方法都是抽象的Scala接口的介绍从画向对象来看，接口并不属于面向对象的范畴， Scala是纯面向对象的语言，在 Scala中，没有接口.Scalar语言中，采用特质trait（特征）来代替接口的概念，也就是说，多个类具有相同的特征（特征）时

2020-10-29 15:19:37 169

原创 Scala 模式匹配

模式匹配模式匹配是一个十分强大的机制，可以应用在很多场合： switch语句、类型查询，以及“析构”（获取复杂表达式中的不同部分）。样例类针对模式匹配进行了优化。更好的switch def match0(x:Int):String = { if (x==1){ "one" }else if(x==2){ "two" }else{ "many" } }def match1(x:Int):String=x match{

2020-10-27 18:47:27 105

原创 Scala数组及元组

Scala数组定义数组存储固定大小的元素数组索引从0开始例如： var array:Array[String] = new Array[String](3) array(0) = "hello" array(1) = "world" array(2) = "scala" println(array(0))或者var a2=Array("Jason","Marie","Jimmy")再者var a3=Array.range(1,10,2)Scala

2020-10-27 15:53:22 220

原创 Scala控制结构及循环

Scala条件控制if语句val x=10if(x>0){ print("x大于0")}if-else语句val x=10if(x>10){ print("x大于10")}else{ print("x小于等于10")}val x=10if(x>10){ print("x大于10")}else if(x==10){ print("x等于10")}else{print("x小于10")}条件语句返回值S

2020-10-27 14:35:53 163

原创 Scala入门

Scala简介Scala以JVM为目标环境，将面向对象和函数式编程有机地结合在一起，带来独特的编程体验.它既有动态语言那样的灵活简洁，同时又保留了静态类型检查带来的安全保障和执行效率，加上其强大的抽象能力，既能处理脚本化的临时任务，又能处理高并发场景下的分布式互联网大数据应用，可谓能缩能伸。Scala源自Java:Scala构建在JVM之上Scala与Java兼容、互通Scala的优势:多范式编程：面向对象编程、函数式编程表达能力强，代码精简大数据与Scala:Spark采用

2020-10-26 15:13:50 149

原创 Scala安装

IDEA上安装Scala插件可以去此网址上下载与自己IDEA版本相同的Scala插件下载地址打开IDEA，进入File的Setting中，如图所示找到自己下载的包,安装并重启此时新建工程可以找到Scala选项如图所示,选择Next后,进入到如下界面...

2020-10-19 19:05:23 214 2

原创 windows10应用显示错误0x87E10BC6,同时Microsoft Store 无法加载界面，代码: 0x80131500解决方法

原因分析出现这种情况,在排除网络原因后(包括但不限于使用TLS1.2等),就很有可能是’国家或地区’未正确配置如果’国家或地区’此处显示为空白,且点击变灰,下拉列表无法打开,这就是造成问题的根源.解决方案:1.右键左下角开始菜单,选择windows powershell(管理员)(A)并点击进入如下界面:2.接下来依次输入以下指令:(可以复制,在管理员界面右键即可粘贴)查看当前国家/地区Get-WinHomeLocation修改国家/地区Set-WinHomeLocation -Ge

2020-10-08 15:36:49 3669

原创 sqoop环境搭建

一.sqoop安装安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的环境。1.下载并解压我使用的版本是sqoop-1.4.6-cdh5.14.2.tar.gz上传安装包 sqoop-1.4.6-cdh5.14.2.tar.gz 到虚拟机中解压 sqoop 安装包到指定目录tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz -C /opt/修改目录名称mv sqoop-env-template.sh sqoo

2020-09-28 20:47:25 125

原创 Apache Phoenix的安装及简单地操作

文章目录Apache Phoenix的安装(单机版HBase)1.安装包下载2.解压安装包到/opt下并改名3.修改配置4.启动phoenix及一些简单操作Apache Phoenix的安装(单机版HBase)1.安装包下载http://archive.apache.org/dist/phoenix/我使用的是apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz版本2.解压安装包到/opt下并改名tar -zxvf apache-phoenix-4.14.0-

2020-09-25 16:47:23 600

原创 HBase操作命令

文章目录HBase操作命令(1)用户权限:(2)对表的操作(3)对行的操作(4)对列簇的操作(5)导入数据HBase操作命令hbase shell进入hbaseversion – 查看版本status – 查看集群状态whoami – 查看当前有效用户名help – 查看帮助命令(1)用户权限:语法:user_permission [‘表名’…]grant ‘用户名’,‘RWXCA’(2)对表的操作增(语法):create ‘表名’,{NAME=>‘列簇名’},{

2020-09-24 19:55:19 108

原创 NoSQL综述

这里写目录标题什么是NoSQL为什么使用NoSQLNoSQL与关系型数据库的区别NoSQL的特点NoSQL基本概念(1)CAP理论(2)BASE(3)最终一致性(4)索引和查询(5)MapReduce,ShardingNoSQL分类NoSQL和BI,大数据的关系什么是NoSQLNoSQL：not only SQL,非关系型数据库NoSQL是一个通用术语指不遵循传统RDBMS模型的数据库数据是非关系的,且不使用SQL作为主要查询语言解决数据库的可伸缩性和可用性问题不针对原子性或一致性问题

2020-09-24 17:07:02 269

原创编写UDF函数

1.Java继承UDF类编写udf函数(evaluate())2.打fat包(包括所有依赖文件)3.把jar包放到Linux上–临时udf函数4.在hive命令行中使用add jar jar包路径即可加载到临时系统中如add jar /root/testudf.jar5.create temporary function如:create temporary function demo as 'hh.testudf.TestUDF';–永久udf函数4.在linux命令行使用hdfs命令把

2020-09-23 08:25:37 871

原创 zeppelin安装

1.上传zeppelin文件我使用的版本为zeppelin-0.8.1-bin-all.tgz2.解压至/opt下tar -zxvf zeppelin-0.8.1-bin-all.tgz -C /opt/3.进入目录并重命名为zeppelinmv zeppelin-0.8.1-bin-all/ zeppelin4.修改配置文件进入zeppelin的conf目录下,重命名配置文件zeppelin-site.xml.template为zeppelin-site.xml修改端口号:..

2020-09-22 19:29:49 245

原创 Hive高级查询

查询数据（１）SELECT基础SELECT用于映射符合指定查询条件的行Hive SELECT 是数据库标准SQL的子集使用方法类似于（２）CTE和嵌套查询CTE(Common Table Expression)with t1 as (select ...) select *　from　t1嵌套查询select * from(select * from employee) a(3)进阶语句列匹配正则表达式set hive.support.quoted.identif

2020-09-22 18:53:39 191

原创 Hive基础(2)

数据表(Tables)HIve的表在逻辑上由存储的数据和描述表中数据形式的相关元数据组成.数据一般存放在HDFS中,但它也可以放在其他任何Hadoop文件系统中,包括本地文件系统或S3.Hive把元数据存放在关系型数据库中,而不是放在HDFS中．(1).内部表和外部表内部表(managed table)在Hive中创建表时,默认情况下Hive负责管理数据.这意味着Hive把数据移入它的"仓库目录"(warehouse directory).加载操作就是文件系统中的文件移动或文件重命名,因此它的

2020-09-19 17:16:13 123

原创 Hive基础(1)

文章目录关于HiveHive的优势和特点:Hive体系架构Hive服务Hive Interface - 命令窗口模式Hive工具操作Hive数据类型Hive建表Hive分区和桶关于HiveHive始于2007年的Facebook.Hive是一个构建在Hadoop上的数据仓库框架,是应Facebook每天产生的海量新兴社会网络数据进行管理和(机器)学习的需求而产生和发展的.Hive的设计目的是让精通SQL技能但Java编程技能相对较弱的分析师能够对Facebook存放在HDFS中的大规模数据集执行

2020-09-16 19:28:38 170

原创 ZooKeeper:分布式协调应用服务

文章目录ZooKeeper简介ZooKeeper数据结构ZooKeeper客户端命令ZooKeeper角色ZooKeeper选举机制ZooKeeper简介Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目Zookeeper=文件系统+通知机制Zookeeper从设计模式上来看是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册一旦数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper

2020-09-15 23:08:16 152

原创 Hive的安装

1.首先需安装好mysqlservice mysql start2.cd hivemkdir warehouse3.vi /etc/profile(配制环境变量)export HIVE_HOME export PATHhive --version检验环境变量是否配好4.cd /hive/confmv hive-env.sh(改名成这个)(1)vi hive-env.shHADOOP_HOME=实际上的路径export HIVE_CONF_DIR=/opt/hive/..

2020-09-15 22:44:00 98

原创如何设置Hadoop集群的时间同步

1.首先查询机器上是否安装时区同步服务rpm -q ntp2.安装ntp时区同步服务yum install -y ntp*3.修改ntp配置vi /etc/ntp.conf#输入自己的IP地址restrict 192.168.184.35 nomodify notrap nopeer noquery#输入IP地址前三位，最后一位0或者1restrict 192.168.184.1 mask 255.255.255.0 nomodify notrap#主节点设置本机IP地址，.

2020-09-15 20:02:41 512

原创 Hadoop(伪分布式)安装

1.vi /etc/profileexport HADOOP_HOME=/opt/hadoopexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native.

2020-09-15 19:46:58 84

原创 Hbase安装

HBase简介HBase是一个在HDFS上开发的面向列的分布式数据库.HBase从与常规不同的角度解决可伸缩性的问题.它自底向上地进行构建,能够简单地通过增加节点来达到线性扩展.Hbase并不是关系型数据库,它不支持SQL，但在特定地情境下，它能够在廉价硬件构成地集群上管理差大规模的稀疏表．单机HBase安装1.修改hbase/conf/文件vi hbase-env.sh(修改一下几处)(1).export JAVA_HOME=…(2).export HBASE_MANAGES_ZK=t

2020-09-15 19:16:42 88

原创 Hadoop集群搭建ha高可用

1.Hadoop集群准备ok2.zookeeper配置完成3.vi core-site.xmlname集群的名称zookeeper2181地址<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://ns</value> </property> <property> <name&gt.

2020-09-15 18:56:23 78

原创 MySQL练习题

索引类型有哪些？数据库如果考虑时区，用什么类型？组合索引使用like还有效吗?组合索引怎么使用才会生效？事务的特性？数据库隔离级别。触发器的作用。MySQL的执行计划mysql写个简单应用数据库怎么做到读写分离？mysql如何集群数据库集群后怎么让数据均匀分布关系型数据库怎么做热备相关表结构：学生表 tbIStudent(编号 StuId、姓名 StuName、年龄SuAge、性别 Stusex)课程表 tblCourse..

2020-09-15 18:34:09 1469 1

原创 YARN:分布式资源调度框架

文章目录关于YARNYARN应用运行机制YARN与MapReduce1相比YARN中的调度YARN常用命令关于YARNApache YARN(Yet Another Resource Negotiator)是Hadoop的集群资源管理系统.YARN在Hadoop2版本后引入,原因在于Hadoop1版本的数据处理和资源调度主要依赖Map Reduce完成,JobTracker负责资源管理和程序调度,压力较大.即便YARN的最初目的是为了改善MapReduce的实现,但它具有足够的通用性,同样可以支持其

2020-09-15 17:39:06 307

空空如也

空空如也