- 博客(65)
- 收藏
- 关注
RSS订阅原创 Python协程
真正有知识的人的成长过程，就像麦穗的成长过程：麦穗空的时候，麦子长得很快，麦穗骄傲地高高昂起，但是，麦穗成熟饱满时，它们开始谦虚，垂下麦芒。 ——蒙田《蒙田随笔全集》上篇论述了关于python多线程是否是鸡肋的问题，得到了一些网友的认可，当然也有一些不同意见，表示协程比多线程不知强多少，在协程面前多线程算是鸡肋。好吧，对此我也表示赞同，然而上篇我论述的观点不在于多线程与协程的...
2018-06-27 01:00:54
965
原创 Python 中的 10 个常见安全漏洞，以及如何避免（上）
简评：编写安全代码很困难，当你学习一个编程语言、模块或框架时，你会学习其使用方法。 在考虑安全性时，你需要考虑如何避免被滥用，Python 也不例外，即使在标准库中，也存在用于编写应用的不良实践。然而，许多 Python 开发人员却根本不知道它们。1. 输入注入（Input injection）注入攻击非常广泛而且很常见，注入有很多种类，它们影响所有的语言、框架和环境。...
2018-06-27 00:57:20
906
1
原创 Hadoop Yarn调度器的选择和使用
一、引言Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。上图是Yarn的基本架构，其中ResourceManager是整个架构的核心组件，它负责整个集群中包括内存、CPU等资源的管理；ApplicationMaster负责应用程序在整个生命周期的任务调度；NodeManager负责本节点上资源的供给和隔离；Contain...
2018-06-20 01:16:26
412
原创 大数据分析如何创建最佳的移动应用用户体验
如今，越来越多的人使用移动应用程序。而移动应用将在未来成为一个价值数十亿美元的产业。大数据可以帮助企业构建最佳的用户体验。 多年来，开发移动应用程序的技术一直在不断发展，这实际上为非技术方面的重大革命铺平了道路，并且这一切都与大数据有关。 用户定期生成的大量数据可以帮助开发人员创建更多更好的移动应用程序。以下对大数据如何激励移动应用领域的重大突破进行探讨。 采用用户体验构建...
2018-06-20 01:13:54
658
原创 Django适合做大用户量的系统吗？
分几点来答：1. 首先，这其实是个技术选型题。做技术选型的时候不能单纯的考虑性能，应该优先考虑业务类型，以及团队水平。另外的话，框架只是其中一环，还有配套呢。如果是数据驱动型，尤其是要用到关系型数据库，那么选择Django足以，ORM会比较省事，但是性能损耗是个很明显的问题。不过还是看团队，如果大家玩flask或者bottle都贼溜，那么还要什么Django，自己造就行了。（题外话...
2018-06-20 01:03:27
594
原创 用 Django 管理现有数据库
在多数项目中，总有一些几乎一成不变的 CRUD 操作，编写这些代码很无聊，但又是整个系统必不可少的功能之一。我们在上一个项目中也面临类似的问题，虽然已经实现了一个功能相对完整的管理后台，也尽量做到了代码复用，但随着项目规模的增长，需要编写的样本代码也不断膨胀，占用了大量开发时间。面对这种局面，我自然想到了 Django。要知道， Django Admin 几乎就是为这种需求量身定制的。但对于我...
2018-06-20 01:01:03
989
原创 djongo：Django和MongoDB连接器
在Django项目中使用MongoDB作为后端数据库，且不改变Django的ORM框架。实现Django用户管理程序对MongoDB数据库中文件的增加和修改。用法1.pip install djongo2.在Django项目下的setting.py中增加如下代码：DATABASES ={ 'default':{ 'ENGINE:'djongo',...
2018-06-20 00:58:08
574
原创 5分钟教你学会Django系统错误监控
一、监控所有的request请求如何实现系统监控，自动发送错误日志的邮件呢？只需配置配置settings文件即可。1.设置发送邮件配置信息邮件会发送到ADMINS设定的邮件列表中。SERVER_EMAIL ='sender@qq.com'DEFAULT_FROM_EMAIL ='sender@qq.com'ADMINS = (('receiver','r...
2018-06-20 00:54:31
440
原创 大数据，必须掌握的10项顶级安全技术
我们看到越来越多的数据泄漏事故、勒索软件和其他类型的网络攻击，这使得安全成为一个热门话题。 去年，企业IT面临的威胁仍然处于非常高的水平，每天都会看到媒体报道大量数据泄漏事故和攻击事件。 随着攻击者提高其攻击能力，企业也必须提高其保护访问和防止攻击的能力，安全和风险领导者必须评估并使用最新技术来抵御高级攻击，更好地实现数字业务转型以及拥抱新计算方式，例如云计算、移动和DevOps。 下面是可...
2018-06-19 00:53:41
1512
原创 Google 是如何收集我们的个人数据的
简评：还有其他公司比 Facebook 更能收集我们的数据么?大概，可能，没准是谷歌。(文末彩蛋) 最近 Facebook 已经因为收集个人数据而站在了聚光灯前，它收集用户数据并因此获利。 但是要知道，Facebook 不是单独一家「在用户毫不知情」的情况下收集数据的公司，Google 可能更甚：它的信息搜集量，追踪范围，以及用户在 Google 相应网站和应用上花费更多的时间。 ...
2018-06-19 00:52:43
811
原创 深度:Hadoop对Spark五大维度正面比拼报告！
每年，市场上都会出现种种不同的数据管理规模、类型与速度表现的分布式系统。在这些系统中，Spark和hadoop是获得最大关注的两个。然而该怎么判断哪一款适合你? 如果想批处理流量数据，并将其导入HDFS或使用Spark Streaming是否合理?如果想要进行机器学习和预测建模，Mahout或MLLib会更好地满足您的需求吗?为了增加混淆，Spark和Hadoop经常与位于HDFS，...
2018-06-19 00:51:51
547
原创 十行代码--用python写一个USB病毒 (知乎 DeepWeaver)
昨天在上厕所的时候突发奇想，当你把usb插进去的时候，能不能自动执行usb上的程序。查了一下，发现只有windows上可以，具体的大家也可以搜索（搜索关键词usb autorun）到。但是，如果我想，比如，当一个usb插入时，在后台自动把usb里的重要文件神不知鬼不觉地拷贝到本地或者上传到某个服务器，就需要特殊的软件辅助。于是我心想，能不能用python写一个程序，让它在后台运行。每当有u盘插...
2018-06-19 00:11:16
7914
2
原创 开发工具｜给你的项目买份保险：Python虚拟环境
读完需要9 分钟1. 什么是虚拟环境？虚拟环境的意义，就如同 虚拟机 一样，它可以实现不同环境中Python依赖包相互独立，互不干扰。这在一定程度的意义上，给了我们的项目一份很有力的保障。在这里，我把它戏称为「保险」。全网唯一。举个例子吧。假设我们的电脑里有两个项目，他们都用到同一个第三方包，本来一切都顺利。但是由于某种原因，项目B由于某些原因要使用这个第三方包的一些...
2018-06-19 00:08:20
294
原创 Python 爬取 11 万 Java 程序员信息竟有这些重大发现！
一提到程序猿，我们的脑子里就会出现这样的画面： 或者这样的画面：心头萦绕的字眼是：秃头、猝死、眼镜、黑白 T 恤、钢铁直男……而真实的程序猿们，是每天要和无数数据，以及数十种编程语言打交道。上能手握亿万数据面不改色，下能修改 Bug 奋战两昼夜。他们热爱生活，讨厌 Bug……时代在进步，今天的程序猿，你真的了解么？程序猿的生活，永远和编程语言有关。目前市面上主流的...
2018-06-19 00:05:14
377
原创 一次学生时代的经历，利用Python在机房杀红蜘蛛，脱离老师控制！
这个为什么说是一次学生时代的经历呢，我的出发点并没有是为了吊胃口。确实，这个Python小应用，只能在学生时代用得着吧，尤其是高中和大学，如果你没有想到也没关系，看完我下面说的就会明白了。 在这里还是要推荐下我自己建的Python开发学习群：725479218，群里都是学Python开发的，如果你正在学习Python ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有Python软件...
2018-06-19 00:02:10
2430
原创 大数据分析的八大趋势
Intuit数据工程副主管Loconzolo双脚都已经迈进数据湖里了。Smarter Remarketer首席数据科学家DeanAbbott也为云技术的发展指出了捷径。他们二人一致认为, 大数据与分析学前沿是个活动目标，这一领域包含了储存原始数据的数据湖和云计算。尽管这些技术并未成熟，但等待也并非上策。Loconzolo表示：“现实的情况是，这些工具都刚刚兴起，他们构筑的平台还不足以让企业依赖...
2018-06-15 01:30:42
933
原创 [ 大数据分析 ] 大数据分析与处理方法介绍
从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？在...
2018-06-15 01:28:44
560
原创 大数据分析项目中的“最差”实践
在这里还是要推荐下我自己建的大数据学习交流群:784557197，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份2018最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴加入。大数据分析现在很火。只要你浏览任何IT出版物或者网站，你都能看到商务智能供应商和他们的系统集成合作...
2018-06-15 01:27:39
325
原创 大数据分析的5个方面
大数据分析的5个方面用涉及到大数据，不幸的是所有大数据的属性，包括数量，速度，多样性等等都是描述了数据库不断增长的复杂性。那么大数据给我们带来了什么好处呢？大数据最大的好处在于能够让我们从这些数据中分析出很多智能的，深入的，有价值的信息。 下面我总结了分析大数据的5个方面。 1. Analytic Visualizations（可视化分析）不管是对数据分析专家还是普通用户，数据可视...
2018-06-15 01:26:50
3356
原创 【Python】Python正则表达式使用指导
1. 正则表达式基础1.1. 简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自带的方法，但功能十分强大。得益于这一点，在提供了正则表达式的语言里，正则表达式的语法都是一样的，区别只在于不同的编程语言实现支持的语法数量不同；但不用担心，不被支持的语法通常是不常用的部分。如果已经在其他语言里...
2018-06-15 01:25:04
1478
原创 你真的会python嘛?
前言我这个博客一直都是一些技术分享,show code的地方，我从来没有写过个人生活或者情感杂谈,当然我也从来没有谈论过我对什么东西的喜恶. 很多人喜欢喷XX语言，喜欢谈论XX和YY的优缺,甚至凑了一本不知所云的书…好吧,我觉得没有使用一门语言超过10年，没有对一个技术研究个5,6年， 不好意思说自己懂(天才除外).我也觉得我没有资格讨论什么，也许我有我的观点看法，但是我怀着怀疑的心态看自己，...
2018-06-15 01:23:15
446
原创 python中#!/usr/bin/python与#!/usr/bin/env python的区别
目的是在运行python脚本的时候告诉操作系统我们要用python解释器去运行py脚本所以我们在第一句往往会写如下两句中的其中一句：#!/usr/bin/python或>#!/usr/bin/env python就是说在没有在执行程序时指出用什么程序运行py脚本时,系统会去调用python程序来执行。举个简单的例子： 我们在linux环境下写一个最简单的p...
2018-06-15 01:21:30
215
原创 python多版本共存问题（以2.7和3.5系列版本为例）
1.0 下载Python2.7x和Python3.5x版本2.0 安装Python3.0 配置环境变量，分别添加至path路径4.0 只修改Python27文件中的.exe文件（这样系统默认为Python3.5）将python.exe修改为python2.exe 在这里还是要推荐下我自己建的Python开发学习群：725479218，群里都是学Pyth...
2018-06-15 01:20:17
2440
原创 免费的大数据学习资料，这一份就足够
朋友不在于多，知心就好;资料不在于多，精致就好。一份专业的大数据学习资料才是学习大数据的利刃。小编分享的这套大数据学习资料将从学习大纲、书籍、视频教程分别分享。在这里还是要推荐下我自己建的大数据学习交流群:784557197，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份2018最新的大数...
2018-06-14 01:14:46
316
原创 大数据时代的三大趋势和三大困境
一家公司的数字化改造应该从清晰的趋势和障碍出发，更好地规划出一条通往其所寻求业务成果的路线。考虑到这一点，以下是我们关注的三大数据趋势，以及在数字时代可能出现在企业和成功之间的三大困境。在这里还是要推荐下我自己建的大数据学习交流群:784557197，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整...
2018-06-14 01:11:42
195
原创 四个填空题，你会如何回答怎么学大数据？看看阿里的大数据学习！
今天小编逛论坛看见一篇百万阅读量的爆文，里面出了四个填空题，问你：_是铜牌，_是银牌，_是金牌，_是王牌。小编我的答案是：Java是铜牌，Linux是银牌，Hadoop是金牌，学好大数据是王牌。因为Java是学大数据的基础，有基础然后就可以学后续的；最后只有学好大数据这一王牌才能出去找一份好工作。那怎么才能学好大数据呢，下面小编就从阿里云大学得来的，告诉大家该如何学大数据。在这里相信有许多想要学习...
2018-06-14 01:09:47
360
原创 为什么学习大数据，大数据专家写给大数据分析学习者的10个理由
因为大数据爆发，因此出现了大数据开发、大数据分析这两大主流的工作方向，目前这两个方向是很热门，不少人已经在开始转型往这两个方向发展，相较而言，转向大数据分析的人才更多一点，而同时也有不少人在观望中，这边小编收集了十个为什么要学习大数据分析的十个理由。下面我们一起来看看大数据专家写给大数据分析学习者的10个理由.长话短说，让我们用实例来告诉你大数据有多么的强大。在这里还是要推荐下我自...
2018-06-14 01:07:51
513
原创 大数据的强大你知道多少
大数据的作用在于在庞大的全量数据的基础上，通过算法模型，得出有意义的结果，进而进行资源配置的优化、现象的发现、未来的预测等。 长话短说，让我们用实例来告诉你大数据有多么的强大。在这里还是要推荐下我自己建的大数据学习交流群:784557197，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份20...
2018-06-14 01:06:15
390
原创 零基础入门到精通：Python大数据与机器学习之Pandas-数据操作
在这里还是要推荐下我自己建的Python开发学习群:483546416，群里都是学Python开发的，如果你正在学习Python ，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有Python软件开发相关的），包括我自己整理的一份2018最新的Python进阶资料和高级开发教程，欢迎进阶中和进想深入Python的小伙伴.同时还要大数据学习群：784557197实战练习 在Ju...
2018-06-14 01:02:09
322
原创 人生苦短之学习Python50本书籍（包涵基础、算法、机器学习、模块、爬虫框架、树莓派等）总有你想要的书籍
很多小伙伴说想学习想学习但是没有学习书籍，我给大家分享一大波学习书籍，具体的可以自己往下翻《“笨办法学”Python3》Zed Shaw 著(2018年5月)本书是基于Python 3.6版本编写的。百万粉丝程序员带你轻松入门Python语言！手机扫码看视频，学习更轻松！5小时的完整视频教程，纯美式发音，搭配中文字幕，边看边练两不误；52个精心设计的编程习题，拒...
2018-06-14 01:00:22
6642
1
原创 人生苦短之HTTP协议及Requests库的方法
requests库的主要方法：requests.request()构造一个请求 requests.get()获取HTML网页的主要方法，对应于HTTP的GET requests.head()获取HTML网页头的方法，对应于HTTP的HEAD requests.post()向网页提交POST请求，对应于HTTP的POST requests.put()向HTML网页提交...
2018-06-14 00:58:58
171
原创 人生苦短之爬虫爬取网页的通用代码框架
我们首先打开IDLE选择File->new window命令（或者可以直接按键Ctrl+N键，在很多地方这个按键是新建文件的意思）在这里还是要推荐下我自己建的Python开发学习群：725479218，群里都是学Python开发的，如果你正在学习Python ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有Python软件开发相关的），包括我自己整理的一份2018最新的Pyth...
2018-06-14 00:57:09
874
原创 Apache Beam: 下一代的大数据处理标准
最近好多小伙伴说想搞个项目实战类的，我就花了一点时间做了一个爬虫项目（在代码复制的时候可能会有点问题，缩格一下就没有问题了） 想要获取更多源码或者答疑或者或者交流学习可以加群：725479218“`# -- coding:utf-8 -- from function.data_tool import clean_dataimport hashlibimport furl.furl...
2018-06-13 12:59:03
213
原创 五个步骤,搭建企业的“大数据视野”
波士顿咨询公司（Boston Consulting Group）最近的一项调查显示，公司拥有的大数据能力与他们渴望在三年内拥有的大数据能力之间存在着巨大的差距。 其中一项能力——优先级能力——的不足影响尤甚，因为它是成功的根本。此外，另外一个明显的现象是，企业选择大数据方案时非常地“随性”。有时候会选择脱离实际的方案，而不是具有成长性的方案——那种可以让企业随着时间的推移集成到更先进、更有价值的能...
2018-06-13 00:00:31
185
原创 大数据与数据脱敏
声明本专栏为我的个人技术专栏，所有观点均为个人观点。如欲转载，请注明出处。大数据平台通过将所有数据整合起来，充分分析与挖掘数据的内在价值，为业务部门提供数据平台，数据产品与数据服务。大数据平台接入的数据中可能包括很多用户的隐私和敏感信息，如用户在酒店的入住纪录，用户支付信息等，这些数据存在可能泄漏的风险。大数据平台一般通过用户认证，权限管理以及数据加密等技术保证数据的安全，但是这并不能完全从技术上...
2018-06-12 23:54:08
2603
原创 Apache Beam: 下一代的大数据处理标准
Apache Beam（原名Google DataFlow）是Google在2016年2月份贡献给Apache基金会的Apache孵化项目，被认为是继MapReduce，GFS和BigQuery等之后，Google在大数据处理领域对开源社区的又一个非常大的贡献。Apache Beam的主要目标是统一批处理和流处理的编程范式，为无限，乱序，web-scale的数据集处理提供简单灵活，功能丰富以及表达...
2018-06-12 23:51:57
221
原创 python异步编程之asyncio（百万并发）
一、asyncio 下面通过举例来对比同步代码和异步代码编写方面的差异，其次看下两者性能上的差距，我们使用sleep(1)模拟耗时1秒的io操作。同步代码：import time def hello(): time.sleep(1) def run(): for i in range(5): hello() print(‘Hello World:%s’...
2018-06-12 23:16:43
4681
原创 你想要的Python面试都在这里了【315+道题】
写在前面近日恰逢学生临近毕业，课程后期大家“期待+苦逼”的时刻莫过于每天早上内容回顾和面试题问答部分【临近毕业每天课前用40-60分钟对之前内容回顾、提问和补充，专挑班里不爱说话就的同学回答】。期待的是可以检验自己学习的成功；苦逼的是怎么又有东西没记住，但我们依然每天坚持一遍、一遍又一遍指导记住为止。需要完整的面试题可以看一下下图： 第一部分 Python基础篇（80题）...
2018-06-12 12:59:22
754
原创 源码篇：Python 实战案例----银行系统
import timeimport randomimport pickleimport osclass Card(object): def __init__(self, cardId, cardPasswd, cardMoney): self.cardId = cardId self.cardPasswd = cardPasswd ...
2018-06-12 01:09:07
2381
1
原创 源码分享篇：使用Python进行QQ批量登录
直接上源码 1 #coding=utf-8 2 __author__ = 'Eagle' 3 import os 4 import time 5 import win32gui 6 import win32api 7 import win32con 8 import SendKeys 9 from ctypes import *10 def QQ(qq,pwd):11 ...
2018-06-12 01:06:51
2142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人