- 博客(13)
- 收藏
- 关注
RSS订阅原创 Scala 类与单例
1. 类的基本操作1.1. 类的定义类或者类型，就是对客观的一类事物的抽象。用一个class关键字来描述，在这个类中可以拥有这一类事物的属性，行为等等。 或者说就是用计算机的语言来描述的一类事物，就是类，在java,scala中都是用关键字class来标识。 因为类是对一类事物的抽象，所以不具备具体的行为执行能力，要想完成具体的操作，就需要使用该类的实例或者对象。//创建scala中的一个类object _01ClassOps { def main(args: Array[String])
2021-12-03 09:48:45
254
原创 Scala
ScalaScala 是一门多范式的编程语言Scale 特点为什么要学习优雅速度快能融入到hadoop生态区圈什么是静态编译？什么是API安装window打开安装包 选地址 下一步 完成下载路径https://www.scala-lang.org/download/2.11.8.html注意不能安装在有中文的路径jdk必须安装添加环境变量配置SCALA_HOME验证 环境变量和安装（自动会配置）scala 回车版本2.11.8IDEA配置本
2021-12-03 09:48:14
55
原创 Scala高阶函数
常见高阶函数闭包和柯里化1 闭包：是变量作用域在不同函数中无法调用的问题2柯里化：是正好他的代码写法，可以解决闭包的问题3代码的逻辑：是将一个两个参数的函数，转化成两个各有一个参数的函数，第一个函数返回第二个函数，第二个函数返回结果。（类似套娃，不过传递的不是结果而是参数）。...
2021-12-03 09:45:57
73
原创 大数据数仓
一 数据仓库面向主题 - 特定的数据分析领域与目标 即 需求集成 将多元数据，统一模板 集成需要考虑的问题 - 数据格式 - 计量单位 - 数据代码含义混乱 如国标码，“代码”a=2，a=3. a!=a - 数据名称混乱 如中英文， 同一个网站有中英文版本，网址语言跟网站相关。非易失 -数据仓库里的数据不可更改，改变 随时间不断变化 -跟新：数据仓库的数据必须以一定时间为单位进行统一跟新
2021-12-03 09:44:50
90
原创 大数据环境搭建问题集
HIVEroot@qianfeng01 hive]# schematool -initSchema -dbType mysqlwhich: no hbase in (/root/.vscode-server/bin/cd9ea6488829f560dc949a8b2fb789f3cdc05f5d/bin:/usr/local/hive/bin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/jdk/bin:/usr/local/jdk/jr
2021-12-03 09:43:47
118
原创 KAFKA
消息队列的种类Peer-to-Peer ：点对点p2p一般基于Pull或者Polling接受数据即消息只有发送方和接收方两个人看的到，即使接收方有多个也只有一个能接收即支持异步“即发即收”的消息传递方式，也支持同步请求/应答传送方式发布订阅一对多的方式：即一个发送者的消息可以被多人接收，类似公众号和订阅者的关系可基于Push消费数据，也可基于Pull或者Polling消费数据解耦能力比P2P更强两种消息类型的比较共同点：生产者发送消息到queue中，接受者读取queue的数据结构：消息
2021-12-03 09:42:43
83
原创 Redis
Redis：非关系型数据库关系型数据库和非关系型数据库的区别Hbase，数据 是非关系型业务数据，数仓 是关系型非关系没有数据结构，数据没有约束简介Redis是一个开源的 内存中的数据结构存储系统作用： 数据库 缓存 消息中间件支持多种数据结构什么是Nosql，有哪些NosqlRedis的特点过期时间可以设置到毫秒访问快持久化机制集群模式支持丰富数据类型Redis用来做 实时 存储的比较多安装1 下载安装包官网地址：https://redis.io/下载地址：ht
2021-12-03 09:41:54
73
原创 SPARk连接
a.readChar() 读取输入字符println(“请输入任意字符：”)val ch = StdIn.readChar()//scala中如何读取文件中的内容val lines = Source.fromFile("E:/data/hello.txt").getLines()Source源文件，地址，getLines（）转化流数据成迭代数据隐式转换中rich 这个类是什么 引用在文件读取richFile 和 比较器接口中comparable导入scala.io.Source后 即可引用
2021-12-03 09:40:14
338
原创 大数据常见命令
Linux查看主机IP ： ip addr[root@qianfeng03 ~]# ip addr1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_
2021-12-03 09:39:15
191
原创 scala数组 map 元组
数组 def one (): Unit ={ //创建数组 val array = new Array[Int](5) val ints = Array(1, 2, 3, 4, 5, 6) //获取数组中的元素 val num = array(2) println(num) //数组遍历 for(a <- ints){ println(a) } //判断是否包含 println(array.cont
2020-08-07 21:10:24
381
原创 Zookeeper
环境变量的配置 1. 将zookeeper-3.4.10.tar.gz上传到/root中2. 解压[root@qianfeng01 ~]# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr/local/3. 更名zookeeper[root@qianfeng01 ~]# cd /usr/local/[root@qianfeng01 local]# mv zookeeper-3.4.10 zookeeper4. 配置环境变量[root@qianfeng01
2020-06-09 23:18:20
63
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人