- 博客(11)
- 收藏
- 关注
RSS订阅原创 Scala语法对重复内容去除的方法（采用Map方法）
通过关联会产生四条数据，但是我们只是想要广州的大帅锅，如果对sql进行distinct的操作就会剩余二条信息永远无法去除深圳的大帅锅，所以我们采用map方法实现一个id只有一条信息的操作。通过广播变量和getOrElse的方法实现一个人只对应一条信息可以避免出现重复的数据。当我们存在二张表分别为地方信息和个人信息的表想进行关联的时候会出现以下情况。我们如果通过spark sql进行关联的话会出现重复数据。
2024-05-30 00:56:25
212
原创 es自动挂掉问题解决
这是因为jvm的虚拟机内存不足导致挂掉节点，所以通过修改以下文件。当es启动后一段时间就挂掉了，输入jps后显示。重新启动elasticsearch，问题解决。将内存调成64M即可。
2023-03-06 21:22:43
1899
原创 Scala安装步骤
1.把scala安装包解压到一个路径下面，该路径不能有中文2.配置环境变量（配置scala的前提需要有下载java1.8，可以同个java -version查看电脑java的版本）在path中配置3.前往cmd测试是否配置成功这样即为配置成功4.编写第一个scala代码，创建一个HelloWorld.scala文件编写内容object HelloWorld{def main(args:Array[String]):Unit={println(“Hello,world!”)}}
2022-03-01 01:37:25
1403
原创 笔记本电脑WLAN模块没了
电脑用着用着突然WLAN模块没了，然后在控制面板中也看不到WLAN，只剩下了飞行模式，我以为是驱动问题，然后通过网线连接了网络下载驱动和更新驱动还是不行，最后通过玄学的方法即：把所有电源拔了包括鼠标，键盘，电源等连接东西，然后电脑关机，长按开机键20秒左右，会出现键盘闪一下，百度的说法是通过释放静电的方法。之后打开电脑，WLAN模块惊奇的出现了！...
2022-01-25 17:57:47
3849
8
原创 ERROR 1130 (HY000): Host ‘windows10.microdone.cn‘ is not allowed to connect to this MySQL server
当用ip连接mysql时候无法访问时候的解决办法：先通过localhost进入mysqlC:\Users\Administrator>mysql -h localhost -u root -p切换到mysql数据库，然后user表中添加“%”符号即可实现通过ip地址连接use mysql;update user set host = '%' where user = 'root';mysql> flush privileges;select host,user from u
2021-12-16 23:19:49
1415
原创 hbase报错： ERROR: Can‘t get master address from ZooKeeper； znode data == null
当发生了这样的错误可能是发生了异常，原因之一可能是先关闭了hdfs导致hbase没关闭。解决方法：1)退出hbasequit2）关闭hbase服务[root@hadoop121 bin]# stop-hbase.sh3）进入zookeper
2021-12-09 11:09:56
2209
1
原创 创建一个maven文件的步骤
1.创建一个maven2.3.点击file–>project structure…–>设置jdk为1.8（和自己的电脑jdk匹配）3.修改maven路径4.自编译：自导入：
2021-12-05 15:18:07
362
原创 Linux时间戳不匹配
当我们输入date时候发现时间与window的时间不匹配可以通过下面的方法来解决。安装ntpdateyum install ntpdate删除localtime文件：rm -rf /etc/localtime导入时间：cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime更新下时间：ntpdate -u ntp.api.bz最后date查询已经匹配。...
2021-12-02 23:32:37
1034
原创 crontab介绍
1.crontab介绍Linux crontab是用来定期执行程序的命令，当安装完成操作系统后，默认便会启动此任务调度命令，crond命令每分钟会定期检查是否要执行的工作，如果要执行的工作便会自动执行该工作。（定期执行某个命令，相当于java中的timer）2.功能组合通过crontab命令，我们课余在固定的间隔时间执行系统指令或者shell脚本，时间间隔可以是每分钟，每小时，每天，每月，每年任意组合，这个命令非常适合周期性的日志分析或者数据备份等工作。3.安装crontabyum install
2021-12-01 23:24:01
2192
原创 2021-11-13
Xpath的安装步骤xpath获取路径：https://pan.baidu.com/s/16GR042C8ex3ztSKZu0UBog提取码：7777打开扩展工具，存放xpath的文件夹改为rar拉到谷歌里面下载再用加载已解压的扩展程序即可。
2021-11-13 18:25:44
170
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人