- 博客(20)
- 收藏
- 关注
RSS订阅原创 大数据组件下载
大数据组件下载命令：wget https://********************************所有大数据组件地址：https://archive.apache.org/dist/
2022-04-25 16:44:22
1725
原创 dataX 传输数据之-----（mysql---＞adb）
dataX 传输数据之-----（mysql—>adb）这个使用"column"是指定要哪些字段必须和 "table"一起使用{ "job": { "setting": { "speed": { "channel": 3 }, "errorLimit": { "record": 0, "percentage
2022-04-20 14:24:50
640
原创 dataX里面的数据源里面的ADS是阿里的AnalyticDBMySQL
今天了解了一下阿里的AnalyticDB MySQL。主要是想知道RDS MySQL和AnalyticDB MySQL之间用什么做数据同步好。但是数据同步的第一个DTS收费，主管不太想用，Flink我不太行，Kettle没用过，主管想用DataX，我就问了阿里后台的售后工程师，有的说可以，有的说不可以，后来看DataX的数据源这个图里面的ADS，阿里里面是把AnalyticDB MySQL叫做ADB的，所以我又纠结DataX到底能不能在他们之间导数据，最后我发现。好吧ADS就是AnalyticD
2022-03-30 17:47:30
2357
原创 windos配置jdk环境变量
配置环境变量详细步骤1.进入环境变量2.填写变量名：JAVA_HOME填写变量值：自己jkd在电脑中的绝对路径填写完记得确定3.双击进path（1）新建（2）添加这两个 %JAVA_HOME%\bin %JAVA_HOME%\jre\bin（3）确定3.填写变量名：CLASSPATH填写变量值：.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar4.最后记得全点确定。其他软件配置环境
2021-11-29 11:22:50
411
转载 如何在hdfs中进行增删查，hadoop中常用命令
hadoop常见指令： hdfs dfs -copyFromLocal /local/data /hdfs/data：将本地文件上传到 hdfs上（原路径只能是一个文件） hdfs dfs -put /tmp/ /hdfs/ ：和 copyFromLocal 区别是，put 原路径可以是文件夹等 hadoop fs -ls / ：查看根目录文件 hadoop fs -ls /tmp/data：查看/tmp/data目录 hadoop fs -cat /tmp/a.tx
2021-11-17 00:15:31
344
原创 ubuntu中修改用户密码&修改mysql密码链接
复制了别人的虚拟机，里面有用户名不是自己的想修改步骤如下：1.进入到root用户下去对其他用户信息进行修改：su root2、gedit /etc/sudoers 修改所有原有用户名3、gedit /etc/passwd ,找到代表你的那一行，修改用户名为新的用户名。 注意：只修改用户名！4、gedit /etc/shadow，找到代表你的那一行，修改用户名为新用户名 。5、gedit /etc/group，你应该发现你的用户名在很多个组中，全部修改！6、 sudo mv /home/oldus
2021-11-14 17:48:15
1123
原创 如何在xshell上进行复制粘贴
平时文档中代码太长，容易敲错的，复制粘贴会很好的让我们避免这些错误那具体步骤如下：1.点击工具，选择里面的按键对应复制：ctrl+shlft+c粘贴：ctrl+shlft+v按照上面的步骤来就可以了。...
2021-11-14 16:58:35
7561
原创 xshell连不上虚拟机的几种情况。还有ping不通网络的情况。
第一种情况：虚拟网络编辑器中第三位（209）和 自己虚拟机中的第三位（209）保持一致，不显示自己ip的可以执行命令：sudo / sbin/dhclient再查看ip：ip a再不显示ip就往下看：1.先查看自己虚拟网络编辑器中的第三位是什么（我这上面的是209），先记住这个数字。2.修改虚拟机中的静态ip命令：sudo vi /etc/netplan/文件（注意这个文件名可能不一样，可以先到/etc/netplan目录下看一下有没有这个文件）文件中需要有这些内容，没有的补全。（注意这
2021-11-14 16:43:16
5389
1
原创 大数据中的各个组件
数据产生是数据平台的源头，没有数据就没有大数据平台（数据产生传输处理）数据的产生：一.数据产生的来源分为以下几种：1.业务系统：来自企业IT系统存储在数据库的数据eg：POS销售系统、EPR系统、CRM系统2.Web系统：日志文件eg：访问了哪些网页、点击了哪些按钮、停留了多长时间3.手机App：传感器eg：指纹识别、人脸识别、位置、WIFI4.外部系统：爬虫数据或外部购买eg：舆情数据二.数据按照结构分为以下几种：1.结构化数据：格式非常规范，比较容易处理eg:数据库2.半结构
2021-11-11 17:57:16
4013
原创 Python如何下载网页上的视频
Python如何下载网页上的视频1.在电脑上创建一个文件夹2.在文件夹里输入cmd3.回车4.输入 pip install you-get 回车5.输入you-get 自己喜欢的视频链接 回车6.下载成功
2021-09-11 21:34:50
6231
3
原创 认识Python，python是什么？
认识Python，python是什么？Python是一门动态解释型弱类型编程语言。python的作者是Guido van Rossum（吉多·范罗苏姆）在1989年圣诞节期间，为了打发无聊的圣诞节而编写的一个编程语言。 Python1991年公开发行第一个版本，所以1991年被当做 Python的诞生年。现在最热门的三大编程语言：C python javapython连续两年进入TIOBE最佳年度语言排名前三名。Python现在已经成为大型编程语言Python已成为当今大学中最常
2021-09-11 12:52:52
284
原创 Xshell 更改系统时区详细步骤
Xshell 更改系统时区详细步骤root用户下su rootroot@master:~# tzselect 选择： 4）Asia==> 9)China ==> 1)Beijing Time ==> 1)Yes根据提示执行：TZ=‘Asia/Shanghai’ ; export TZ并将 TZ=‘Asia/Shanghai’ ; export TZ 命令添加到.profile中然后退出并重新登录现在再查看最终时区显示为CST，即中国标准时间。...
2021-09-11 12:32:42
724
原创 Hive面试基本须知
Hive面试基本Hive的优缺点:优点：1)操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。2)避免了去写MapReduce，减少开发人员的学习成本。3)Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。4)Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。5)Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。缺点:1．Hive的HQL表达能力有限（1）迭代式算法无法表达（2）数据挖掘方面不擅
2021-08-06 14:27:03
147
原创 Scala集合——Map
Map集合不可变：val map01: Map[String, String] = Map(“libai” -> “1”, “litaibai” -> “2”, “litaitaibai” -> “3”)可变：import scala.collection.mutableval map03 = mutable.Map((“libai”, 1), (“litaibai”, 2), (“litaitaibai”, 2))object Demo08Map { def main(
2021-04-17 11:57:13
101
原创 Scala集合——Set
Set集合不可变val set =Set(1,2,3,4,1,2,3)（1）Set默认是不可变集合，数据无序（2）数据不可重复可变import scala.collection.mutableval set1= mutable.Set(1,2,3)object Demo07Set { def main(args: Array[String]): Unit = { //set不可变 val set =Set(1,2,3,4,1,2,3) println(set)
2021-04-17 11:36:55
125
原创 Scala集合——List
List集合分为可变和不可变（1）List默认为不可变集合val list = List(1, 2, 3, 4, 5)（2）可变ListBufferval buffer = ListBuffer(1, 2, 3)import scala.collection.mutableimport scala.collection.mutable.ListBufferobject Demo06List { def main(args: Array[String]): Unit = { /
2021-04-17 11:21:56
241
原创 Scala集合——数组
Scala集合——数组不可变数组：*1）第一种方式定义数组(定长数组)定义：val arr1 = new ArrayInt（1）new是关键字（2）[Int]是指定可以存放的数据类型，如果希望存放任意数据类型，则指定Any（3）(10)，表示数组的大小，确定后就不可以变化*2）第二种方式定义数组val arr1 = Array(1, 2)（1）在定义数组时，直接赋值（2）使用apply方法创建数组对象可变数组：（1）ArrayBuffer是有序的集合（2）增加元素使用的是appen
2021-04-17 09:56:56
274
原创 Scala面向对象-type
//type相当于给数据类型起别名object Demo04Type { def main(args: Array[String]): Unit = { val name:String="laowang" //自定义的数据类型 相当于给string起别名 type s=String val name1:s="xiaowang" }}
2021-04-17 09:26:59
74
原创 Scala面向对象-App
//APP是一个特质，可以代替main作为程序的入口 多用于测试object Demo03App extends App { println("hello word")}
2021-04-17 09:23:30
178
原创 Scala面向对象-枚举
Scala枚举——举例代码枚举类：需要继承Enumerationobject Demo02Enumeration extends Enumeration { val Hadoop=Value(1,"hadoop") val SPARK=Value(2,"spark") val FLINK=Value(3,"FLINK") val SCALA=Value(4,"SCALA") def main(args: Array[String]): Unit = { println
2021-04-17 09:18:51
68
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人