DZgrad-CSDN博客

原创 Python多进程多线程 GIL锁

找出 GIL 究竟是什么，为什么它存在于 Python 中，它又是怎么影响多线程程序的Python为了利用多核，Python开始支持多线程。而解决多线程之间数据完整性和状态同步的最简单方法自然就是加锁于是有了GIL这把超级大锁一个线程运行 Python ，而其他 N 个睡眠或者等待 I/O.”（即保证同一时刻只有一个线程对共享资源进行存取） Python 线程也可以等待threading....

2018-11-19 10:46:33 410

通过Headers反爬虫从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对于检...

2018-11-19 10:45:29 270

原创机器学习基本算法

机器学习从广义上说，机器学习就是一种赋予机器自我学习的能力，从实践意义来说机器学习就是利用数据，使用机器计算出模型，然后通过模型来预测数据。在机器学习的过程中最重要的就是数据，在alphago和李世石的围棋比赛中，其中AlphaGo就是通过自己和自己下棋，总结数据，在经过千万局的数据经验后才和李世石达到了同等水平。机器学习又分为监督学习和无监督学习，监督学习就是将样本数据，和正确的结果告诉计...

2018-10-28 14:19:13 636

原创 Python 异常处理方法try&except

Python 异常处理python提供了异常处理工具来处理python程序在运行中出现的异常和错误。也可以使用该功能来调试python程序。相关概念：异常即是一个事件，该事件会在程序执行过程中发生，影响了程序的正常执行。一般情况下，在Python无法正常处理程序时就会发生一个异常。异常是Python对象，表示一个错误。当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。py...

2018-10-28 13:46:06 740

转载 python中字符编码:coding utf-8, unicde, defaultencoding, UnicodeDecodeError, UnicodeEncodeError

2.字节与字符计算机存储的任何数据，包括各种文本、图片、音视频文件等等，实际上都是一串二进制数字01字节序列组成的。相信大家都知道，一个字节Byte(B)是8个比特bit(b)。而字符，自然就是符号了。比如说二十六个英文字母，阿拉伯数字，以及在python中最坑爹的汉字都是字符。python中遇到的字符编码问题，大部分都与汉字有关系。写过java的小伙伴都知道，java中的IO模块，从大的方...

2018-10-28 13:38:12 1105

原创爬虫解析加密字体例子58 同城

一些网站会将部分内容进行加密，防止爬虫简单的获取到信息最近在爬取58同城的品牌公寓时遇到租房信息里的价格爬下来是看不懂的字体一些数据在浏览器里面显示是正常的, 但是渲染前和渲染后的html源码都看不到字体, 渲染前看到的是16进制的4位字符, 渲染后看到的是一些方块.然后分析了一下网站的源码，发现他是由base64 加密之后生成的字体那我们就可以通过正则匹配出来进行处理首先在...

2018-10-28 13:22:22 3494 2

转载机器学习算法中的准确率(Precision)、召回率(Recall)、F值(F-Measure)

数据挖掘、机器学习和推荐系统中的评测指标—准确率(Precision)、召回率(Recall)、F值(F-Measure)简介。在机器学习、数据挖掘、推荐系统完成建模之后，需要对模型的效果做评价。业内目前常常采用的评价指标有准确率(Precision)、召回率(Recall)、F值(F-Measure)等，下图是不同机器学习算法的评价指标。下文讲对其中某些指标做简要介绍。在介绍指标前必须先...

2018-10-23 22:01:37 2163

原创 Python 数据分析之Pandas 常用指令

import pandas as pd‘’’#创建一个默认索引从0开始的Seriess = pd.Series([1,2,3,4,5,6])#创建一个自定义索引的数字，索引有index指定和前面的数据依次对应s = pd.Series([1,2,3,4,5,6],index=[‘a’,‘b’,‘c’,‘d’,‘e’,‘f’])s[‘a’:‘c’] Series 取得时候都能取到，...

2018-09-21 09:01:24 619 1

DzzzzzZzzzz的博客