- 博客(119)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 selenium常用操作
更多程请如考:http://selenium-python.readthedoc.lo//inatallationhtmlintroduction关闭页面:1. driver.c1ose():关闭当前页面。2. driver.auit():退出整个览器。定位元素1. find_element_by_id:根据id来查找某个元弄。等价于:submittag=driver.find...
2018-12-29 16:02:37
291
1
原创 什么是AJAX及其应用
AJAX( Asynchronouse Javascript And XML)异步Javascript和XML・过在后台与服务器进行少量数据交换,Ajax可以使网页实现异步更新。这意味看可以在不重新加载整个网页的情况下,对网页的某部分进行更斯。传统的页(不使用Ajax)如果需要更新内容,必须重整个网页页面。因为传统的在传数据格式方面,使用的是XML语法。因此叫做AJAX,其实现在数据交互基本上都是...
2018-12-29 14:33:33
302
原创 GIL全局解释器锁
Python自带的解释器是 Cpython。 Cpython解释器的多线程实际上是一个假的多线程(在多核CPU中,只能利用一核,不能利用多核)。同一时刻只有一个线程在执行,为了保证同一时刻只有一个线程在执行,在CPython解释器中有一个东西叫GIL,叫做全局解释器锁。这个解释器锁是有必要的。因力Cpython解释器的内存管理不是线程安全的。当然除了CPytn解释器,还有其他的解释器,有些解释器...
2018-12-29 14:10:13
190
原创 Queue线程安全队列
在线程中,访问一些全局变量,加锁是一个经常的过程。如果你是想把一些数据存储到某个队列中,那么 Python内置了一个线程安全的模块叫做 queue 模块。 Python中的queue模块中提供了同步的、线程安全以列类,包括FIFO(先进出)队列 Queue,LIFO(后入先出)队列 LifoQueue。这些队列都实现了锁原语(可以理解为原子操作,即么不做,更么都做完),能够在多程中直接使用。可以...
2018-12-29 11:45:16
3663
1
原创 生产者和消费者模式
Lock版本生产者和消费者模式生产者和消费者模式是多线程开发中经常见到的一种模式。生产者的线程专门用来生产一些数据,然后存放到一个中间的变量中。消费者再从这个中间的变量中取出数据进行消费。但是因为要使用中间娈量,中间变量经常是一些全局变量,因此需要使用锁来保证数据完整性。以下是使用 threading.Lock锁实现的"生产者与消费者模式"的一个例子import threadingi...
2018-12-29 10:56:42
515
原创 多线程概念和Threading模块介绍
多线程爬虫有些时候,比如下图片,因为下载图片是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下图片。多线程介绍:多程是为了同步完成多项任务,通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。最简单的比喻多线程就像火车的每一节车用,而进程贝是火车。车厢离开火车是无法跑动的,同理火车也可以有多节车厢。...
2018-12-29 10:14:09
437
转载 由四位央行官员为你制作的“数字货币”说明书
转自公众号：数字经济在全球范围内，中国央行将成为首个研究数字资产及真实应用的中央银行，并率先探索了区块链在货币发行中的实际应用。需要明确的是，这里所说的数字资产是央行发行的法定货币。在实际使用体验中，数字资产可能与电子支付方式感受类似。但支付宝等只是电子支付方式，交易时所用的钱都是通过银行账户而来，也就是说支付宝里的钱实际上还是对应着一张张钞票。而数字资产就是一种电子货币，具有支付和流通属性...
2018-12-29 08:37:14
518
原创 Json字符串简介
jSon文件处理什么是json:JSON(Javascript Object Notation,JS对象标记)是一种轻量级的数据交换格式。它基于 Ecmascript(w3c制定的js规范）的一个字迹,采用完全独立于编语言的文本式来存储和表示数据。简洁和清晰的层次结构使得JSoN成为理想的数据交换语言。易于人阅读和编写,同时也易于机器解折和生成,并有效地提升网络传效率。JSON支持数据格式...
2018-12-28 17:51:14
521
原创 正则表达式汇总
规则通俗理解：按照一定的规则，从某个字符串中匹配出来想要的数据。这个规则就是正则表达式。这则表达式常用的匹配规则：匹配摸个字符串：text = 'hello'ret = re.match('he',text)print(ret.group())>>he以上便可以在hello中，匹配出 he。点（.)匹配任意的一个字符：text = 'ab'ret ...
2018-12-28 15:05:11
281
原创 Beautifulsoup4库提取数据详解
Beautlfu1Soup记:find_all的使用:1.在提取标签的时候,第一个参数是标签的名字。然后如果在提取标签的时候想要使用标签属性进行过滤,那么可以在这个方法中通过关键字参数的形式,将属性的名字以及对应的值传进去。或者是使用 attrs属性,将所有的属性以及对应的值放在一个字典中传给attrs属性2.有些时候,在提取标签的时候,不想提取那么多,那么可以使用1imit参数。限制提取多...
2018-12-28 10:43:22
1185
转载 孟庆国：未来政府数字化转型——从“技术釆纳”到“价值赋能”
转自公众号：国脉互联 电子政务智库 我今天跟大家交流的是关于数字化转型的逻辑。人工智能，智能到底是什么含义？从“技术采纳”到“价值赋能”，不管是强调智慧政府、电子政务还是数字政府，最核心性的是以技术为驱动，从而演变出来的概念。技术驱动不单是涉及工具层面、技术采纳层面，可能带来的是价值、理念、文化上的全新性的东西。今天我想从这几个方面谈谈我的观点。一、政府数字化转型的演进历程 政府的...
2018-12-28 09:20:56
3487
转载 华为轮值董事长郭平新年致辞：不经艰难困苦，何来玉汝于成
转自公众号：数字经济智库 不经艰难困苦，何来玉汝于成——2019年新年致辞轮值董事长 郭平 “困难越大，荣耀也越大”，即将结束的2018年，印证了哲学家西塞罗的这句名言。在这极不平静的一年里，我们从未停下前进的脚步。2018年，公司预计实现销售收入1085亿美元，同比增长21%。 我们和全球领先运营商签定了26个5G商用合同，10000多个5G基站已发往世界各地；...
2018-12-28 08:56:25
1055
原创 Beattifulsoupk库的基本介绍
Beautifulsoup4库和lxml一样, BeautifulSoup也是一个 HTML/XML的解析器,主更的功能也是如何解析和提取HTML/XML数据。lxml只会局部便利,而BeautifulSoup是基于HTMLDOME的,会载入整个文档,解折整个DOM树,因此时间和内存开销都会大很多,所以性能要低于xml。Beautifulsoup用来解析HTML比简单,APE常人性化,支持C...
2018-12-27 11:40:58
661
原创 项目管理各阶段工作
启动 需求受理(PMO)[注2] 需求接收 需求合规性检查 需求评估(主协办团队) 确定主协办条线 需求评估 需求评估结果处理 需求评估跟踪 可行性分析(可行性分析小组) 组建技术可行性分析评估小组 ...
2018-12-27 10:02:51
1887
原创 lxml解析html代码和文件
lxml是一个 HTML/XML的解析器,主要的功能是如何解析和提取HTML/XML数据。lxml和正则一样,也是用C实现的,是一款高性能的 Python HTML/XML解折,我们可以利用之学习的Xpath语法,来快速的定位特定元素以及节点信息。lxmlpython官方文档:http://hxmlde/indexhtml要安装C语言库,可使用pip安装 ：pip install lxml...
2018-12-26 17:59:44
3197
1
原创 xpath简介以及工具安装
Xpath语法和lxml模块什么是 Xpathxpath( XML Path Language)是一门在XML和HTML文档中查找信息的语言,可用来在XML和HTML文档中对元素和属性进行遍历。Xpath开发工具1. Chromey插件 Xpath Helper2. Firefox插件 Xpath Checker。Xpath语法详解谓语:谓语用来查找某个特定的节点或者包含某个指定的...
2018-12-26 17:35:20
1960
原创 requests发送post、get请求
1、最基本的POST请求可以使用post方法 response = requests.post("http://www.baidu.com",data=data)2、穿入data 这时候就不要使用urlencode进行编码了，直接穿入一个字典进去就可以了。比如请求拉勾网的数据的代码 import request url = "https://www.l...
2018-12-26 14:39:59
2327
转载 区块链在数字政府的应用探讨
转自公众号： 电子政务智库 区块链作为下一代全球信用认证和价值互联网基础协议之一，被认为是彻底改变业务乃至组织运作方式的重大突破性技术，越来越受到政府和组织的重视，并开始探索在多个行业领域的应用，如何应用于数字政府成为探讨的重点方向之一。介绍区块链技术在国内外数字政府的落地应用案例，梳理数字政府应用需求与区块链技术的主要契合点，对区块链在数字政府领域的应用提出相关建议。 ...
2018-12-26 14:07:46
2017
转载 OK资本周子涵：区块链的成果是“熬”出来的
转自公众号：OK区块链区块链相关概念：PoW是工作量证明，PoS是权益证明，DPoS是委托权权益证明，但PoC是一种怎么样的共识机制？目前来看，PoC并没有一个统一的说法，有的区块链项目认为PoC应该是Proof of Capacity的缩写，既容量证明；有的项目认为PoC是Proof of Contribution，为贡献证明；还有项目方认为PoC是Proof of Credit，也就...
2018-12-26 09:27:57
737
转载 吴震：要让区块链这把「屠龙刀」有龙可砍
转自公众号： OK区块链 OK区块链点击关注OK区块链，置顶公众号让区块链技术链接未来━━━━━━ （图为国家互金安全专委会秘书长吴震）【OK区块链导读】2018年12月18日，在全球领先的区块链企业OK集团联合主办的“链动钱江·智享未来”B-LABS联合创业空间启动仪式上，国家互金安全专委会秘书长吴震受邀做主题演讲。 吴震在演讲中指出，区块链技术的发展分为3个阶段...
2018-12-26 08:56:24
368
原创 Pipline（流水线）和主成分分析
Pipline（流水线），这个模型的理论基础是联结主义，从工程实现的角度来讲，我们首先调用spectral embedding 对训练数据做特征提取，再调用K-means完成最后的模型预算，这是pipeline的实际理念。一个piipeline有n个模型顺序组成，其中前n-1个模型被称为Transformer,主要作用是对数据进行特征提取，最后一个模型被称为Estimator，主要作用是在特征的...
2018-12-25 18:22:25
1135
原创 response.text和 response.content的区别:
1. response.content这个是直接从网络上面抓取的数据,没有经过任何解码,所以是一个 bytes类型,其实在硬盘上和在网络上传输的字符串都是 bytes类型,2. response,text:这个是 requests,将 response.content进行解码的字符串,解码需要指定一个编码方式, requests会根据自己的猜测来判断编码的方式,所以有时候可能会猜测错误,就会导致...
2018-12-25 16:38:14
20690
原创 非监督式学习：聚类和降为
聚类主要的三种模型：K-means，混合高斯以及谱聚类 K-means是非常简单和直观的聚类，他用欧式距离来度量数据间的相似度。类似画圈圈的方法来完成聚类运算。它隐含的假设是数据的各维度是均质的，应用范围比较窄。 为了解决引用范围比较窄的问题，我们讨论混合高斯模型，它是一个生成式模型，是二次判别分析的非监督版本。混合高斯对聚类的处理可以形象的理解为“画椭圆”，因此，k-means其实是...
2018-12-25 11:52:04
460
转载 徐晓兰：数字经济正成为各国经济回暖的重要引擎
转自公众号： 数字经济智库 时间回到1994年4月20日，这一天中国迎来了自身数字化建设从无到有、化茧成蝶的起始点。当天，“北京中关村地区教育与科研示范网络工程”项目汇聚了全国科技者的目光，这项连接着数百台主机的网络工程顺利通过美国Sprint公司接入国际互联网，中国由此成为第77个拥有全功能互联网的国家。24年来，中国开始了全面铺设数字高速公路的伟大历程，从随处可触的网上购物到蓬勃发展的人工...
2018-12-25 10:17:21
524
原创 爬虫自动登录访同授权页面
http.cookiejar模块该模块主要的类有 Cookiejar,、 Filecookiejar、 MozillaCooklejar、 LwpCookiejar。这四个的作用分别如下1.CookieJar:管理HTTPcookie值、存储HTTP请求生成的cookie、向传出的HTTP请求加cookies的对象,整个cookie都存储在内存中,对 Cooklejar实例进行垃圾回收后coo...
2018-12-25 09:01:31
946
原创 爬虫使用cookie模拟登录
使用cooklelib库和Httpcookieprocessora模拟登录Cookie是指网站服务器为了辨别用户身份和进行 Session跟踪,而储存在用户浏览器的文本文件, Cookie可以保持登录信息到用户下次与服务器的会话。这里以人人网为例。人人网中,要访回某个人的主页,必须先登录才能访问,登录说白了就是要有cookie信息。那么如果我们想要用代码的方式访问,就必须要有正确的cooki...
2018-12-24 17:48:52
2505
1
原创 Cookie原理和格式详解
什么是 cookie在网站中,http请求是无状态的。也就是说使第一次和服务器连接后并且登录成功后,第二次请求服务器依然不能知道当前请求是哪个用户, cookie的出现就是为了解決这个问題,第一次登录后服务器返回一些数据( cookie)给浏览器,然后浏览器保存在本地,当该用户发送第二次请求的时候,就会自动的把上次请求存储的 cookieI数据自动的携带给服务器,服务器通过浏览器携带的数据就能...
2018-12-24 15:41:59
4797
原创 Proxyhandler处理器
Proxyhandler处理器(代理):1.代理的原理:在请求目的网站之前,先请求代理服务器,然后让代理服务器去请求目的网站,代理服务器拿到目的网站的数据后,再转发给我们的代码。2.http://httpbin.org:这个网站可以方便的查看http请求的一些参数。3.在代码中使用代理 *使用url1ib. request. Proxyhandler,传入一个代理,这个代理是一个字典...
2018-12-24 14:48:44
2318
原创 URLLIB库之函数介绍-爬虫
URLLIB库的urlretrieve函数用法urlretrievel函数:这个面数可以方便的将网页上的一个文件保存到本地。以下代码可少非常方便的将百度的首页下载到本地：from urllib import requestrequest.urlretrdeve("http://www.baidu.com/,"baidu.html"）5 urllib库之参数编码和解码函urlen...
2018-12-24 14:22:44
412
转载 新零售玩转人工智能，智能客服未来可期
转自公众号 数字经济智库 新零售，就是以数据驱动的人、货、场的重构，而数据又来源于消费者。天猫新零售平台客户转型与市场战略部负责人杨海认为，我们现在正在经历以消费者为核心的“零售革命”。 互联网时代，碎片化的消费行为令传统的零售方式难以为继。而人工智能技术近年来成为了零售市场上的“救命稻草”。无人便利店、无人配送车、智能客服等等，都是人工智能与新零售结合的产物。 无人商店即拿...
2018-12-24 10:40:05
508
原创 项目干系人管理-知识领域
项目干系人管理包括用于开展下列工作的各个过程： 识别能影响项目或受项目影响的全部人员、群体或组织， 分析干系人对项目的期望和影响，制定合适的管理策略来有效调动干系人参与项目决策和执行。 干系人管理还关注与干系人的持续沟通，以便了解干系人的需要和期望， 解决实际发生的问题， 管理利益冲突，促进干系人合理参与项目决策和活动。 应该把干系人满意度作为一个关键的项目目标来进行管理。图 13-1 概括了项...
2018-12-22 13:10:18
1254
原创 项目采购管理-知识领域
项目采购管理包括从项目团队外部采购或获得所需产品、服务或成果的各个过程。项目组织既可以是项目产品、服务或成果的买方，也可以是卖方。项目采购管理包括合同管理和变更控制过程。通过这些过程，编制合同或订购单，并由具备相应权限的项目团队成员签发，然后再对合同或订购单进行管理。项目采购管理还包括控制外部组织（买方）为从执行组织（卖方）获取项目可交付成果而签发的任何合同，以及管理该合同所规定的项目团队应承...
2018-12-22 08:51:36
599
原创 项目风险管理-知识领域
项目风险管理包括规划风险管理、识别风险、实施风险分析、规划风险应对和控制风险等各个过程。项目风险管理的目标在于提高项目中积极事件的概率和影响，降低项目中消极事件的概率和影响。图 11-1 概述了项目风险管理的各个过程，包括：11.1 规划风险管理——定义如何实施项目风险管理活动的过程。11.2 识别风险——判断哪些风险可能影响项目并记录其特征的过程。11.3 实施定性风险分析——评估并...
2018-12-21 11:32:17
713
转载 世界上没有怀才不遇这件事，关键是找准你的优势
转自：https://blog.csdn.net/harrymeng/article/details/76240455人才是企业管理中讨论最多也是最让人头痛的要素，管理者通常都是求贤如渴，爱才如命。他们深知，要想让企业不断地发展，不断往附加价值高的领域定位，这不仅仅需要人才，而且要让人尽其才，才尽其能。 全面正确认识你的员工 我们首先要做的其实就是全面地正确地认识你的员工，他们...
2018-12-21 10:01:44
301
原创 项目沟通管理-知识领域
项目沟通管理包括为确保项目信息及时且恰当地规划、收集、生成、发布、存储、 检索、管理、控制、监督和最终处置所需的各个过程。 项目经理的绝大多数时间都用于与团队成员和其他干系人的沟通，无论这些成员或干系人是来自组织内部（位于组织的各个层级上）还是组织外部。 有效的沟通在项目干系人之间架起一座桥梁，把具有不同文化和组织背景、不同技能水平、 不同观点和利益的各类干系人联系起来。 这些干系人能影响项目的...
2018-12-21 09:17:47
689
原创 项目人力资源管理-知识领域
项目人力资源管理包括组织、管理与领导项目团队的各个过程。项目团队由为完成项目而承担不同角色与职责的人员组成。项目团队成员可能具备不同的技能，可能是全职或兼职的， 可能随项目进展而增加或减少。 项目团队成员也可称为项目人员。尽管项目团队成员被分派了特定的角色和职责，但让他们全员参与项目规划和决策仍是有益的。团队成员在规划阶段就参与进来，既可使他们对项目规划工作贡献专业技能，又可以增强他们对项目的责任...
2018-12-21 08:42:44
608
原创 项目质量管理-知识领域
项目质量管理包括执行组织确定质量政策、目标与职责的各过程和活动，从而使项目满足其预定的需求。项目质量管理在项目环境内使用政策和程序，实施组织的质量管理体系；并以执行组织的名义，适当支持持续的过程改进活动。项目质量管理确保项目需求，包括产品需求，得到满足和确认。图 8-1 概述了项目质量管理的各过程，包括：8.1 规划质量管理——识别项目及其可交付成果的质量要求和/或标准，并书面描述项目将如何证...
2018-12-21 08:37:04
648
原创 生成式模型：信息量化的价值-总结
生成式模型并不是从自变量出发对北语测量搭建模型，他的建模理念是通过模型理解数据是如何产生的，并以此为基础，借助贝叶斯框架对位置数据做预测。模型过程更复杂。三种从简单到复杂的模型：朴素贝叶斯，判别分析，隐马尔可夫模型朴素贝叶斯模型假设性最强，它假设特征是条件独立的。虽然假设很牵强，但朴素贝叶斯在文本分类上的效果不错，它可做原子模型与其他模型进行联结组合成更加复杂的模型。判别分析模型放松了特...
2018-12-20 12:24:36
568
转载 一文秒懂CI, CD AND CD
转自：https://www.sohu.com/a/204652724_640923CI, CD AND CDCI很容易理解，就是持续集成。但是CD既可以指代码持续交付，也可理解为代码持续部署。CI和CD之间有很多相似的部分，但是也有很大的区别。持续集成（CONTINUOUS INTEGRATION）在持续集成环境中，开发人员将会频繁的提交代码到主干。这些新提交在最终合并到主线之前...
2018-12-20 11:24:57
1660
转载 从开发的软件《备件仓库管理系统》总结的一些经验
转自：http://www.cnblogs.com/wuhuacong/archive/2011/04/11/2012961.html最近做了一个备件仓库管理软件，虽然只是一个不太复杂的仓库管理业务的软件，附带产出一些相关的报表，而且有之前做过的送水管理系统、酒店管理系统等软件的基础及技术储备，不过做起来发现还是有很多细节及新的东西，在客户不断提出修改意见以及改进建议的同时，逐步吸收优化新的知...
2018-12-20 10:19:16
1779
Zabbix 简单介绍
2018-11-21
itop使用手册
2018-04-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人