- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python面试常问问题
全局解释器锁(GIL) 装饰器 yield 生成器 tcp 三次握手 数据结构， 链表 垃圾回收机制 高级函数 map reduce filter等 scrapy scrapy-redis 总体架构，执行方式（爬虫） scrapy-redis redis队列，优化，去重（爬虫） 反爬虫，解决方法，遇到难点，怎么解决的 http https ssl ...
2018-12-29 11:58:35
808
原创 scrapy pipline csv
# scrapy pipline class BazaarPipeline(object): def open_spider(self, spider): self.filename = open("digital.csv", "wb") # 创建一个csv文件读写对象，参数是需要保存数据的csv文件对象 self.csv_...
2018-12-20 18:06:08
349
原创 简单监控liunx服务器进程
需要简单的监控服务器某进程简单的shell脚本 （.sh名不要与进程名相同）将.sh脚本放到 crontab 中定时监测 关于 crontab*/5 * * * * /home/admin/monitor_course/monitor_course.sh #! /bin/sh proc_name="python3"proc_num() { num=`...
2018-12-19 16:31:54
914
原创 liunx 压缩 解压命令 tar
压缩tar –cvf jpg.tar *.jpg //将目录里所有jpg文件打包成tar.jpgtar –czf jpg.tar.gz *.jpg //将目录里所有jpg文件打包成jpg.tar后，并且将其用gzip压缩，生成一个gzip压缩过的包，命名为jpg.tar.gztar –cjf jpg.tar.bz2 *.jpg //将目录里所有jpg文件打包成jpg.tar后，并且将其...
2018-12-11 11:50:28
226
原创 Python read(),readline(),readlines()用法
一、read([size])方法read([size])方法从文件当前位置起读取size个字节，若无参数size，则表示读取至文件结束为止，它范围为字符串对象with open('xxx', 'r') as f: contents = f.read() print(type(contents)) # type str二、readline()方...
2018-12-11 10:32:43
372
原创 阿里云 数加 · DataWorks 数据同步
数据同步当业务数据进入阿里云maxcomputer，我们或许需要进行一些简单的流程化处理，比如进行数据回流至mysql或是其他数据库，需要创建数据同步任务。进入dataworks2.0 控制台在左侧数据发开中新建业务流程，我们可以在数据集成中创建数据同步任务，进行数据的双向同步；当然我们首先确保我们已经添加数据源，即将我们的业务数据库地址添加至数据源，才能到这里创建数据同步任务，如果没...
2018-12-10 18:18:39
4516
转载 python random
随机整数：>>> import random>>> random.randint(0,99)21随机选取0到100间的偶数：>>> import random>>> random.randrange(0, 101, 2)42随机浮点数：>>> import random&
2018-12-10 16:55:06
156
转载 python 大数据入门教程
Python在大数据行业非常火爆近两年，as a pythonic，所以也得涉足下大数据分析，下面就聊聊它们。Python数据分析与挖掘技术概述所谓数据分析，即对已知的数据进行分析，然后提取出一些有价值的信息，比如统计平均数，标准差等信息，数据分析的数据量可能不会太大，而数据挖掘，是指对大量的数据进行分析与挖倔，得到一些未知的，有价值的信息等，比如从网站的用户和用户行为中挖掘出用户的潜在需...
2018-12-07 17:35:38
5499
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人