大马猴5的博客

原创 小程序端的懂车帝二手车数据采集

懂车帝小程序端的二手车数据爬取。无加密清空，设置异常结束，下一次不会从头爬取策略

原创 pc端x车帝数据爬取

pc端懂车帝数据爬取，但是未解决价格加密问题，下一篇可以看我小程序端的，无加密情况

原创 大数据三大组件(spark,hadoop,hive)的安装之spark之伪分布式

1、首先进入spark-shell命令窗口输入import org.apache.spark.sql.hive.HiveContext。说明一下，本次安装的spark是经过编译后的可以直接处理hive数仓的spark2.4.0版本。6、配置sparksql的远程连接。3、下面这个些命令是解压spark的，解压完可以直接用。5、测试是否可以正确访问hive中的数据库成功。8、测试链接，这个是我在datagrip测试的。

原创 oralce空间数据类型转pg库中

把Oracle的空间类型数据转成pg库的

原创 大数据三大组件(spark,hadoop,hive)的安装之hive之伪分布式

cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib #将mysql-connector-java-5.1.40-bin.jar拷贝到/usr/local/hive/lib目录下。sudo tar -zxvf ./apache-hive-3.1.2-bin.tar.gz -C /usr/local # 解压到/usr/local中。

原创 hive远程连接时报无法创建数据库或表的权限问题

然后可以在Hadoop的bin目录下执行这个命令bin/hdfs dfs -chmod -R 777 /usr/local/hadoop/tmp/dfs/data。报这个错误是因为对应的/usr/local/hadoop/tmp/dfs/data目录没有给Hadoop等执行权限。如果大家遇到像我这种问题可以这样子解决。

原创 大数据三大组件(spark,hadoop,hive)的安装之Hadoop之伪分布式

主要分享安装spark,hadoop,hive的教程，还有一些远程连接需要注意的问题

原创 利用阿里云Ubuntu20搭建内网穿透服务

利用阿里云+内网穿透技术实现其他电脑远程连接本电脑

原创 Ubuntu20安装postgres12以及配置远程连接

3、安装完了可以看看是否安装成功，可以用sudo -u postgres psql -c "SELECT version();2、再执行安装postgres命令sudo apt install postgresql postgresql-contrib。8、再输入sudo vim /etc/postgresql/12/main/pg_hba.conf配置这一行。4、依次用这两条命令可以使用超级用户psql登录，方便修改默认密码。6、修改postgres超级用户的密码。13、也可以，到这里就结束了。

原创 2023-11月份最新采集黄衣服——外卖数据

所有解释都在代码中了，大家不懂的可以联系我。

原创 python调用某德地图的地址与经纬度转换

你就可以把地址比如清华大学转为（116.326582,40.002436）。反过来说也可以通过经纬度转为地址。2然后创建一个应用选取key值。主要取到应用的key值。3然后可以用代码转换了。

原创 Selenium+opencv识别有缺口的滑动验证码

利用selenium+opencv识别含缺口的滑块验证码，识别率高达99%

原创 google浏览器使用edge浏览器的插件

在C:\Users\用户名\AppData\Local\Microsoft\Edge\User Data\Profile 1\Extensions找到lpmhmbogdfoddanepgnbngfeofdjdnge(这个是GS的文件夹)这个是我的目录C:\Users\23138\AppData\Local\Google\Chrome\User Data\Default。3：把这个文件夹复制到谷歌浏览器的插件目录下面去，查找方法和上面一样的（chrome://version）5：加载已解压的程序。

原创 谷歌浏览器历史版本109-114的，需要其他版本的我再更新

链接：https://pan.baidu.com/s/1IsNuOhQLHAi1igpSjThpkA?

原创 python的35个关键字意思解释

【代码】python的35个关键字意思解释。

原创 17k小说网站找登录接口

然后输出账号密码登录，再去找两个新的login接口，就可以找到了，而且这个时候为post请求。1 实现进入到网站中勾选这两个地方（保留日志，已停留节流模式）3可以找到两个login接口。

原创 2023年7月中旬拿Boss直聘的招聘信息

【代码】2023年7月中旬拿Boss直聘的招聘信息。

原创 2023年-7月份获取前程无忧岗位数据

selenium的基本使用，json数据的提取，遇到简单加密方式的处理办法

原创 用insert into在Oracle插入中文字符乱码

注意值就是你查select userenv('language') from dual;--查看编码是否一致。进入此电脑的属性选择系统设置，添加一个NLS_LANG。然后在path路径再加一条%NLS_LANG%;注意我是修改后的了，你们一般都是不一致的。查看这两个图片编码是否一致，重启电脑后重新插入就完美解决。插入中文会报乱码错误。

原创 content7.9阿里云服务器安装Oracle数据库

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo（添加软件源）docker pull registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11g(拉取镜像，因为Oracle差不多3G，所以这一步要等一会，)， docker images（查看docker容器里面有没有我们安装的Oracle）//查看服务器的CPU个数。

原创 智能高效整理发票

利用python编写一个处理发票信息程序

转载 转发jupyter闪退问题

(16条消息) Jupyter Notebook打不开，点了后黑窗闪动了下_独孤尚良dugushangliang的博客-CSDN博客

原创 spark报出An error occurred while calling o209.showString.和GC overhead limit exceeded的解决方法

spark报出An error occurred while calling o209.showString.和GC overhead limit exceeded的解决方法

原创 oracle vm virtualbox 搭建Ubuntu（最详细教程）

将对每一步安装步骤进行解析，不光让大家清楚知道安装整个流程，更让大家懂每一步的含义，方面我们自定义一些参数

原创 (免费自取)厦门大学林子雨老师的spark(python)版本的pyspark链接hbase的jar包

pyspark连接hbase所需的jar包

原创 购买腾讯云服务器流程

云服务器就是相当于你自己电脑开一个虚拟机来装系统，云服务器不用在自己电脑上面安装，可以直接去购买一个云服务，做一个linux操作系统，也可以购买windowsd的.下面按步骤操作：1：点击这个(学生云服务器_学生云主机_学生云数据库_云+校园特惠套餐 - 腾讯云)网站选择相应配置的服务器,注意需要注册自己相应的信息，如果价格不是306块或者是120块，需要申请自己的学生身份2:选择自己相应需要的linux操作系统...

转载 redis的安装步骤和设置连接redis服务器的方法

1Redis安装和设置

原创 vm virtualbox使用U盘正确教程