- 博客(6)
- 收藏
- 关注
RSS订阅原创 【毕设自用留档】一个多进程python爬虫
简单写了一个爬虫，基本能用。爬完大概花了一周左右，差不多一天100w的速度。没用代理，速度不敢调太快。加了代理应该可以再快点。工作需求一个爬虫，可以在短时间内爬取约1kw的网页，要且只要粗略的文本信息即可。本科大数据相关专业，毕设做的是深度学习相关内容。遇到的问题想到再说。需要另外import的helper如下。
2023-04-12 15:21:35
81
原创 macOS系统在Linux虚拟机中部署Hadoop
最近在学习Hadoop，但是上来就遇到了一个问题。课上老师部署的演示实例使用的是vmware workshop + winscp + xshell的解决方案，但是很不巧的，以上的大部分甚至全部文件在macOS下均无法使用，导致我自己下来做的时候遭遇了许多困难，现记录如下，给自己留个备份，也供大家参考。我们此次的要求是1个master和3个slave。使用的机器是MacBook Pro，Intel CPU，系统是macOS Monterey。
2022-10-12 21:34:19
971
原创 macOS下使用内置文本编译编写html文件产生中文乱码的问题
最近在研究python爬虫的时候，发现了一点小问题。在使用python成功爬取目标网站相关信息后，将其复制到内置文本编辑软件并打开时，出现了所有的中文都变成了反斜杠+字母的情况。上网搜了一下，大多给出的方法都是修改encode/decode/改utf-8之类的。使用后发现未能解决。后来想了一下，这些解决方法针对的都是在爬取过程的时候就已经产生了乱码的情况，而我检查代码发现，代码本身的中文显示无误。所以就只能是macOS系统的相关设置问题了。解决方法如下：1.打开文本编辑软件“文本编辑”中的“偏好设置”
2021-03-25 17:56:03
868
1
原创 如何一步到位的在macOS上安装brew
写在前面这两天换了新机器，是16寸的MacBook Pro，之前的MacBook安装了brew，但是总是感觉用着不舒服，这次想趁着这个机会重新装，顺便留下我自己详细的记录，给后面用得到的人一个引导。本文写于2020.7.3，系统版本是macOS Catalina（10.15.5），截至目前已发布macOS Big Sur的开发者版本，本教程有一定时效性，还望各位酌情借鉴。下面开始正文。下载和安装 一般情况下，brew的安装只需要一个命令，即 /usr/bin/ruby -e "$(curl -
2020-07-18 03:51:52
1084
原创 Python的 and 操作符 和C语言的 && 操作符有何不同
解释：关于逻辑and和&&，python的用法和C的用法主要异同点如下：1、当两个操作数均为逻辑值时，与我们通常理解的逻辑运算一致；2、当第一个操作数为逻辑值，第二个操作数为其他类型时，执行以下规则：a and b：在a为false的时候,返回a,否则返回b。（补充说明，若为a or b： 在a为true的时候,返回a,否则返回b。）总之,and与or返回的不仅有true/false的语义,还返回了它的值。例如，在C语言中，执行如下代码：#include <stdio.
2020-07-18 03:06:18
1145
1
原创 关于不同进位制之间的相互转化
最近学校布置的作业经常因为知识点的储备不足而被卡住。今天思考了一种题型，并找到了相关的解决方法。其实深究起来并不能算是严格意义上的C语言问题，某种程度上算是一个数学问题。但还是把它写上来，算是我的第一次作业。引入：bcd解密问题，即将一个数先从16进制转化为10进制，而后再讲10进制转化为16进制。具体方法如下：先将这个数与现在的进制数运算取余，得到的数放到最低位。再将上个式子的商继续除当前进位...
2019-10-17 22:07:20
1021
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人