python网络数据采集-图像识别与文字处理

第一部分:图像识别和文字处理概述

      本篇文章主要学习通过Python的库来是被和使用在线图片中的文字。当你不想让自己的文字被网络机器人采集时,把文字做成图片放在网页上是常用的办法。在一些联系人通讯录经常可以看到,一个邮箱地址部分或全部转换成图片。人们可能察觉不出明显的差异,但是机器人阅读这些图片时会非常困难,这种方法可以防止多数垃圾邮件发送器轻易地获取你的邮箱地址。

    利用这种人类用户可以正常读取但是大多数机器人都没法读取的图片,验证码(CAPTCHA)就出现了。验证码读取的难易程度也大不相同,有些验证码比其他的更加难度,后面我们会介绍这种问题。

    但是,验证码不是网络爬虫数据采集时需要进行图像转文字翻译工作的唯一对象。目前,有很多文档都是简单地扫描后直接放到网上,它们和互联网上的很多文档一样都是没法直接使用,尽管他们都“近在眼前”。如果无法图形转为文字,要想使用这些文档的内容,就只能人手工敲了。

    将图像翻译成文字一般被称为光学文字识别(Optical Character Recognition OCR)。可以实现OCR的底层库并不多,目前很多库都是使用共同的几个底层OCR库,或者在上面进行定制。这类OCR系统有时会变得非常复杂。

第二部分:OCR库概述

  • 2
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
目 录 1 引言.............................................................5 1.1 Python的介绍...................................................5 1.2 数据采集(爬虫)介绍............................................5 1.2.1 什么是爬虫....................................................5 1.2.2 通用爬虫和聚焦爬虫............................................5 1.2.3 数据采集研究现状..............................................6 1.3 数据清洗介绍....................................................6 1.4 数据可视化介绍..................................................6 1.4.1 数据可视化发展史..............................................6 1.4.2 数据可视化研究概述............................................7 2 数据采集(爬虫)技术实现..........................................8 2.1 采集需求........................................................8 2.2 爬虫设计流程....................................................8 2.3 采集网站分析....................................................9 2.4 采集代码实现....................................................10 3 数据清洗技术.....................................................13 4 数据可视化技术...................................................14 4.1 可视化技术实现.................................................14 4.1.1 字段确认.....................................................14 4.1.2 数据获取.....................................................15 4.1.2.1 获取薪资数据...............................................15 4.1.2.2 获取城市数据...............................................16 4.1.2.3 获取学历数据...............................................17 4.1.2.4 获取工作性质数据...........................................18 4.1.2.5 获取工作经验数据...........................................19 4.1.3 可视化实现.................................................19 4.2 数据展示与分析.................................................20 4.2.1 薪资可视化...................................................20 4.2.2 城市地区分布.................................................21 4.2.3 学历要求.....................................................21 4.2.4 工作性质.....................................................22 4.2.5 工作经验.....................................................24 5 结束语...........................................................25 参考文献...........................................................25 致谢.........................................................25
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值