啊呜～-CSDN博客

原创 Python 中 logging 日志模块在多进程环境下的使用

最近爬虫遇到了一个句柄泄露的问题大概问题是多进程往同一个日志文件中写日志，由于我设置了日志文件大小，所以会面临不同进程对同一个文件进行读写句柄泄漏导致磁盘空间无法释放，机器的磁盘被占满在此记录一下解决办法引自https://www.cnblogs.com/luchuangao/p/logging.html多进程环境下logging的使用按照官方文档的介绍，logging 是线程安全的，也就是说，在一个进程内的多个线程同时往同一个文件写日志是安全的。但是（对，这里有个但是）多个进程往同一个文件写日

2020-12-31 17:58:05 1816

原创 CentOS禁止swap分区

centos关闭swap分区第一步关闭swap分区:swapoff -a第二步修改配置文件 - /etc/fstab删除swap相关行 /mnt/swap swap swap defaults 0 0 这一行或者注释掉这一行第三步确认swap已经关闭free -m若swap行都显示 0 则表示关闭成功第四步调整 swappiness 参数echo 0 > /proc/sys/vm/swappiness # 临时生效vim /etc/sysctl.conf # 永久生效#修改

2020-12-22 15:28:39 2553

原创 Virtual for mac搭建CentOS虚拟机联网

转自https://www.cnblogs.com/lixipeng/p/11141201.html搭建好自己的虚拟机，这个没啥可说的选择对应的虚拟机，点击设置，选择网络链接方式选择：桥接网卡界面名称：根据自己的网络链接方式选择对应的网络自己的机器是Wi-Fi的选择Wi-Fi机器是普通网线的选择以太网然后保存，进入虚拟机cd /etc/sysconfig/network-scripts/lsvi ifcfg-enp0s3这里这个网络文件每个人的机器不同，会生成不同的文件后缀名称，找前

2020-12-22 15:13:34 135

原创 python happybase TTransportException(type=4, message=TSocket read 0 bytes) 及解决方案

转自https://blog.csdn.net/kelebb0459/article/details/106838905问题：使用happybase连接池操作HBASE一直出现 TTransportException(type=4, message=‘TSocket read 0 bytes’) 这个错误原因1：客户端链接hbase时传输协模式与协议与thriftpy服务端不匹配。可更改为 h_conn = happybase.Connection( host=“host”,port=port, tr

2020-12-10 16:15:06 1563

原创【python连接hbase kerberos认证】happybase-kerberos-patch包安装记录

查看官方文档happybase-kerberos-patch复制pip命令报错：提示没有gcc命令，于是brew install gcc，报错：按照提示输入xcode-select --install安装好gcc，还是不行，查阅官方文档：需要安装python-dev,百度一系列方法，未果果断cv项目文件到本地site-packages目录下另外有木有大佬知道这个command ‘gcc’ failed该怎么搞定啊？...

2020-11-26 18:50:25 1187

原创二维码登录手机端与服务端流程（交互方面）

网站在生成登录二维码的时候，这个值是唯一的，就像唯一验证码一样。网站生成的时候是等待手机客户端扫描的状态，也就是说网站这个时候还不知道谁扫的二维码。手机端扫到二维码（手机端使用扫码功能的前提是已经登录了），手机端通过服务器端提供的后台接口，将扫到的二维码还有代表用户ID的加密字符串发给服务端。服务端网页知道了这个用户对应这个唯一的二维码，手机端在传送成功后会切换到等待确认界面。之后服务器确认接口再次接到手机端的确认消息，开始生成session等一系列操作完成登录并跳转页面（不一定是首页，用户可能在任

2020-11-24 19:46:21 784

原创【APScheduler + scrapy定时爬虫】ValueError: signal only works in main thread

之前一直用shell写的crontab来跑爬虫脚本最近换了apscheduler来管理定时任务代码大概是这个样子import sys, osfrom scrapy.cmdline import executefrom apscheduler.schedulers.blocking import BlockingSchedulerdef start_scrapy(): sys.path.append(os.path.dirname(os.path.abspath(__file__)))

2020-11-24 16:05:09 883 4

weixin_43224440的博客