项目实战
打算做一个小项目,用于秋招展示
无限感谢信收割机
大龄研究生一个,0offer资深选手,感谢信收割机,求一个萝卜坑收留
展开
-
AES加密反爬破解
然后去研究了一下AES解密,它一共需要三个参数,第一个是待解密的数据,也就是请求返回的乱码,第二个是密钥,也就是请求返回的第二个参数。第三个是偏移量,底层是二进制数据,表现形式是字符串。今天打算爬取某网站的招聘数据时,发现返回来的东西是被加密过的,用postman模拟请求返回的结果如下。开始逆向,打开F12,打断点,还好没有debug反爬,跟踪到发现解析请求的时候会调用AES解密。继续跟踪进去,发现三个参数都有了,然后网上找了个AES代码,慢慢调试。最后把代码封装成Util给爬虫调用。原创 2023-07-02 20:00:43 · 1331 阅读 · 1 评论 -
架构图构思
昨天把服务器上需要的中间件安装好,今天把项目构思具体的画了一下。在后面里会一步步把这些模块实现并且连接起来。原创 2023-07-01 18:52:54 · 65 阅读 · 0 评论 -
Kafka设置运行时内存
今天登上服务器一看2G的内存剩下100M可用,这让本不富裕的家庭雪上加霜,于是百度kafka修改启动内存方法。编辑kafka-server-start.sh即可。原创 2023-07-01 17:01:11 · 765 阅读 · 0 评论 -
Linux(CentOS)安装Redis
第四步,make install PREFIX=/usr/local/redis 把命令安装到对应的位置。取消保护模式(主要是保护模式还需要密码啥的,很麻烦,对于个人学习来说不用这些)添加布隆过滤器模块,至于怎么安装布隆过滤器自己去百度吧,这里不涉及。第三步,解压后进入目录直接输入make,等待编译完成。在自己的电脑上利用redisinsight连接。设置为守护进程,这样子它可以在后台运行。保存文件后退出,启动redis。第六步,配置redis配置文件。允许远程连接,把红色框框去掉。第五步,配置系统变量。原创 2023-06-30 20:58:25 · 171 阅读 · 0 评论 -
Linux(CentOS)安装MySQL5.7
登录,可以直接粘贴密码,mysql默认输入密码不现实字符的,哪怕*号也不会显示。保存后退出,然后配置环境变量,vim /etc/profile,追加以下内容。配置my.cnf文件 vim /etc/my.cnf ,添加内容。需要注意的是,刚安装的mysql,不能直接使用,需要修改初始密码。然后刷新配置文件 source /etc/profile。然后还得切换到user库修改root权限,放开远程连接。用DataGrip远程连接成功啦。退出mysql,然后重新登录。下一步是初始化mysql。原创 2023-06-30 20:05:22 · 89 阅读 · 0 评论 -
Linux(CentOS)安装单机版Kafka
然后进去解压目录的config文件下,配置一下 server.properties。新建一个ssh连接,到kafka目录利用kafka自带脚本创建一个topic测试。然后再新建一个ssh连接,到kafka目录利用kafka自带脚本创建一个消费者。第一个要配置的点是把broker.id设置成要给大于0的数。然后在生产者窗口输入消息,再消费者窗口就回里面显示出来。前置条件是配置好Java环境和Zookeeper环境。配置好之后回到kafka的目录下执行运行脚本。第二个要配置的是地址。原创 2023-06-30 15:28:23 · 336 阅读 · 0 评论 -
Linux(CentOS)配置Java(JDK)环境变量
下载好后把文件上传到Linux服务器,然后到文件目录下解压文件。然后保存退出,source一下配置文件即可。解压后配置一下系统环境文件。在文件的末尾添加以下内容。原创 2023-06-30 13:06:07 · 1120 阅读 · 0 评论 -
Linux(CentOS)安装Zookeeper
保存退出后,切换到bin目录,启动zookeeper。然后进入到解压的目录里面,拷贝一下配置文件。前置环境是装好Java环境。编辑zoo.cfg,配置。原创 2023-06-30 14:44:37 · 45 阅读 · 0 评论 -
使用密码无法登录Linux云服务器ECS该如何处理?
使用密码通过Workbench或SSH方式(例如PuTTY、Xshell、SecureCRT等)远程登录ECS实例时,遇到。您可以根据业务需要,为实例绑定密钥对或通过VNC登录实例后,修改SSH服务的配置文件,来解决上述问题。,表示禁止以密码方式登录ECS实例,需要修改为。以VNC或绑定密钥对方式登录ECS实例。,表示禁止以密码方式登录,需要修改为。该问题是由于SSH服务对应配置文件。打开SSH配置文件。原创 2023-06-30 12:42:35 · 530 阅读 · 0 评论