- 博客(5)
- 收藏
- 关注
原创 搜狐新闻小爬虫,解析数据接口并插入mysql数据库
# -*- coding: utf-8 -*- import time,hashlib import requests,re from lxml import etree import pymysql import datetime headers = { 'Connection': 'keep-alive', 'Upgrade-Insecure-Request...
2019-12-02 15:42:47
406
原创 bloom去重器,实现加载本地文件
import os from pybloom import ScalableBloomFilter class filterutil: def __init__(self,path=None): self.path = path self.ispath = self._check_path(self.path) if self.ispath:...
2019-04-11 17:05:37
289
原创 asyncio异步编程,3秒600次请求,提高你的爬虫采集效率
最近深入探索scrapy框架,发现一个叫twisted的东西,也就是异步编程,进而碰到了asyncio,与结合aiohttp爬虫的采集速度提高了几十倍,甚是欢喜,发布出来与大家一同分享。 import asyncio import re import aiohttp class Crawler: def __init__(self, maxtasks=100): self...
2019-04-10 16:58:21
646
原创 Tensorflow 解决AttributeError: 'RefVariable' object has no attribute 'numpy'报错信息
解决AttributeError: ‘RefVariable’ object has no attribute 'numpy’报错信息 在做线性回归的时候出现了变量没有numpy属性的错误,百度也为找到相关解决方法,下面将代码奉上,附加解决方案! import tensorflow as tf import matplotlib.pyplot as plt class Model(object):...
2019-02-28 17:04:11
12661
9
原创 抽奖模型设计代码
需求: 1:奖池奖品为 5、20、50、10000,每次投入10系统随机反馈奖品或不反馈奖品,要求最终的产出投入比不得超过0.85。 2:不得让游戏玩家通过历史抽奖数据观察出中奖规律 3:新玩家的中奖概率大于老玩家的中奖概率 4:解决玩家万一抽中奖品10000,放弃游戏,对平台造成损失的情况 from math import * import random from collections imp...
2018-11-22 15:23:54
979
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人