视野

在这个信息时代,没有人的视野会受阻,人们最缺乏的并不是视野的广度,而是视野的深度。 事实上,可以粗略的把人分为两类:追求低成本的快乐的人,追求深层次体验的人。 如果只是想想,当然每个人都会说”我要过丰富的生活,有极致的体验“。但落实到你需要付出多少代价层面,其实大多数人的选择,是在“低成本”的...

2019-05-01 16:20:23

阅读数 77

评论数 0

中国保险行业市场现状及发展空间分析

    保险行业市场现状    1、保险行业运营现状    近五年来,保险股大...

2018-12-28 18:02:21

阅读数 1005

评论数 0

SQL数据库优化

前言: 随着数据库中数据量的增长,系统的响应速度就自然成为需要解决的主要问题之一。对于大量数据而言,优劣SQL语句的运算速度可以差别很多倍。例如,如果SQL语句的where子句中条件SQL不合理,结果就会造成优化器舍弃索引而使用全表扫描,性能自然降低。(编写SQL语句时,应清楚优化器根据何种原则...

2018-11-17 22:16:51

阅读数 131

评论数 0

在浮躁与流俗下,坚守初心

1十一之前,原本是不打算更文的了。但昨天下午,忽然看到《人民日报》发布了一篇文章,《他676分上清华没微信,看到手机后沉默了》。看完后,拿着手机的我却沉默了。文中的少年名叫单小龙。就在今年的高考中,以676分的优异成绩被清华大学电子信息专业录取。而知道这一喜讯的时候,他还在工地上。为了帮助贫寒的家...

2018-09-30 20:22:19

阅读数 284

评论数 0

香蜜沉沉烬如霜视频评论抓取

腾讯视频评论 以最近火热的电视剧<香蜜沉沉烬如霜>为例,用fiddler抓包分析爬取腾讯动态视频 import urllib.request import re vid='2942827004' cid='0' for i in range(0,1...

2018-09-18 23:20:20

阅读数 228

评论数 2

抢票软件项目开发

项目需求分析 整个项目应实现:浏览器自动登录12306网站,查询余票,车票预订,到自动提交系统支付的功能。 具体包括:登录界面的cookie处理(保持登录界面)、登录时的验证码处理、余票查询、提交订单等部分。 分析: 借助工具fiddler,作为整个数据传输的记录环节。整个登录环节包括六个部分...

2018-09-12 19:38:24

阅读数 3892

评论数 2

网页爬取的三种方式

 爬取的重点在于分析网页结构,以爬取淘宝网图片为例: 爬取网页有三种方式: 1.urllib.request 2.封装Request请求 3.urlretrieve直接写入硬盘 下面以第三种方法爬取xxx图片 代码如下: #爬取网页有三种方式:urllib.request,封装Request请...

2018-09-10 20:13:44

阅读数 241

评论数 0

数据分析岗位需求分析报告

1.前言 2.用到的工具 3.网页结构分析 4.数据预处理 5.数据分析岗位分布情况 5.1公司的城市分布 5.2公司的融资情况  5.3岗位福利状况  ​ 6.数据分析岗位的发展状况 6.1各城市平均薪资待遇 6.2不同融资阶段平均工资待遇 7.数据分析师岗位招聘要求 7...

2018-09-05 18:09:09

阅读数 3263

评论数 2

数据分析在保险销售中的应用

从营销的角度看数据产生的价值。此部分报告是笔者曾经在新人班中,给新人做过的培训内容(产生一定的成效)。在此,作详细记录(考虑到部分敏感词汇,故而部分内容省略)。 一、背景分析及问题提出 1.背景分析 2.问题提出 二、用到的主要工具 三、用户画像解读 四、数据清洗 1.用Excel对...

2018-08-31 16:36:19

阅读数 2633

评论数 0

XPath部分总结

关键词:网络采集数据,网页特定内容提取 在网络爬虫中,对爬取到的数据进行筛选和提取的方式主要有两种:正则表达式和XPath,后者常用于scrapy框架中。 定义: XPath是一种XML路径语言,通过该语言可以在XML文档中迅速地查询到相应的信息,XPath表达式通常叫做XPath selecto...

2018-08-29 19:34:09

阅读数 59

评论数 0

多线程爬虫

关键词:多条路径,并行结构,同时进行 正常情况下,爬虫程序都是有执行的先后顺序的,执行流程都在一条线上,即所谓的单线程爬虫。 相对应的,如果爬虫中的某部分程序可以并行执行,即在多条线上执行,则这种执行结构称为多线程结构(这里的多线程和Java等语言中的类似),对应的爬虫也称为多线程爬虫,。 代码解...

2018-08-29 19:31:10

阅读数 112

评论数 0

爬虫打破封禁的几种方法

写在前面的话:爬虫有风险,使用需谨慎(应当遵守行业道德及职业操守,遵守国家法律法规。以下内容均是在此前提下进行操作) 反爬技术基本有: 模拟登陆,模拟浏览器,代理服务器......文章在持续更新总结梳理中......1.代理服务器的设置 目的:防止自有IP地址被屏蔽 推荐免费的代理服务器列表:ht...

2018-08-24 22:25:25

阅读数 153

评论数 0

决策树算法及其应用案例

决策树算法主要分为三类: ID3、C4.5、CART算法 以ID3算法为例: 对上表某图书销量进行预测. 思考:建立测试模型,各个变量数据权重?数据的转化? 重点在于:计算各个信息熵(数据预处理),可参考百度百科内容 决策树算法模块: 关注点:对数据需要进行预处理,转化为结构化数据,然后进行分析...

2018-08-20 22:29:21

阅读数 1695

评论数 0

贝叶斯算法及其应用案例

贝叶斯分类算法: 贝叶斯分类是统计学的一种分类算法,它是一类利用概率统计知识进行分类的算法。在许多场合,朴素贝叶斯(Naïve Bayes,NB)分类算法可以与决策树和神经网络分类算法相媲美。缺陷: 与其本身的设定有关,由于贝叶斯假设一个属性值对给定类的影响独立于其它属性的值,但是该假设在实际情况...

2018-08-20 22:27:56

阅读数 709

评论数 1

KNN算法及其应用案例

1.常见的分类算法: (1).KNN算法 (2).贝叶斯算法 (3).决策树算法 (4)人工神经网络算法 (5)支持向量机(SVM)算法 2.今天我们用KNN算法解决手写体数字的识别问题(包括验证码识别,二维码识别等都可以归属为同一类问题) KNN算法又名K-近邻算法,总体思想是:通过把现实中的数...

2018-08-20 22:27:01

阅读数 1494

评论数 0

Python数据预处理

1.导入数据文件(excel,csv,数据库文件等) df=read_table(file,names=[列名1,列名2,,,],sep="",encoding) #file是文件路径,names默认为文件的第一行为列名,sep为分隔符,默认为空,表示默认导...

2018-08-14 23:43:00

阅读数 1156

评论数 0

一种新型分割图像中人物的方法,基于人物动作辨认

想要进行图像分割,传统方法是先检测图中物体,在进行分离。在本文中,来自清华大学、腾讯AI研究室和英国卡迪夫大学的研究者们提出了一种新型分割图像中人物的方法,基于人物动作辨认。以下是论智对原文的编译。 图像分割...

2018-08-04 00:02:25

阅读数 337

评论数 0

新浪网(sina)新闻链接爬取

目录 一、新闻爬虫需求分析 二、实现思路 三、项目代码实现 一、新闻爬虫需求分析 将新浪新闻首页(http://news.sina.com.cn)所有新闻都爬取到本地。 二、实现思路 1.首先解析网页,查看各条新闻存储位置 2.通过正则表达式获取新闻链接,依次爬取各新闻并存储到本地...

2018-07-25 22:49:38

阅读数 179

评论数 0

Python基本绘图案例

目录 一、折线图 二、柱状图  三、饼图bar 四、直方图 一、折线图 #绘制折线图 import matplotlib.pyplot as plt #绘制X轴对应的点 x_values=[1,2,3,4,5] #每一个X点,对应的Y值 squares=[1,4,9,16,25] #...

2018-07-22 23:36:53

阅读数 332

评论数 0

概率统计基础(部分)

目录 一、曲线的特点 二、数据分布特点 三、抽样分布与参数估计 四、假设检验 五、相关与回归分析 六、非参数估计 七、时间序列 一、曲线的特点 数据特点 名词: 离散程度:四分位差,平均差,方差,标准差 标准化值: (变量—平均值)/标准差 离散系数或者变异系数:极差,...

2018-07-21 23:31:52

阅读数 83

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭