![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Machine Learning、Cloud
文章平均质量分 80
clay小哈_
这个作者很懒,什么都没留下…
展开
-
云计算的未来——云计算核心技术
云计算是一种以数据和处理能力为中心的密集型计算模式,它融合了多项ICT技术,是传统技术“平滑演进”的产物。其中以虚拟化技术、分布式数据存储技术、编程模型、大规模数据管理技术、分布式资源管理、信息安全、云计算平台管理技术、绿色节能技术最为关键。原创 2015-03-16 22:11:49 · 2818 阅读 · 0 评论 -
windows安装spark后spark-shell启动报错
Hadoop lib下已添加对应版本的winutilscmd输入D:\peizhi\hadoop\bin\winutils.exe chmod 777 /tmp/hive 不能成功启动spark-shell <console>:16: error: not found: value sqlContext import sqlContext.implicits._原创 2017-05-17 06:13:22 · 6201 阅读 · 4 评论 -
Windows Spark开发环境部署
Windows下单机安装Spark开发环境机器:windows 10 64位。 因Spark支持scala、java、python等语言,所以尝试安装了不同语言环境下的spark开发环境。1、jdk1.8、Python 3.5的安装1.1 jdk1.8的安装安装oracle下的jdk,我安装的是jdk 1.8,安装完新建系统环境变量JAVA_HOME,变量值为“D:\Program Files\原创 2017-05-14 09:38:30 · 612 阅读 · 0 评论 -
最生动的数据分析师技能图谱
转自:http://wwwbuild.net/sjfxjx/404811.html?from=index 数据分析师一个需要“门门通”的职业。以下是知乎大神“陈丹奕”对数据分析师的能力体系的一个梳理,希望对大数据的同学们能有帮助。数据分析师的能力体系 1、数学知识 数学知识是数据分析师的基础知识。对于初级数据分析师,了解一些描述统计相关的基础内容,有一定的公式计算能力即可,了解常用统计模型转载 2017-03-25 20:48:04 · 3969 阅读 · 0 评论 -
python爬虫和http请求协议
我经常会看到有人在知乎上提问如何入门 Python 爬虫?如何学习Python爬虫[入门篇]?等这一些问题,我今天写这篇文章的目的就是来告诉大家,我为什么要学爬虫,爬虫的本质是什么。原创 2017-02-21 23:09:35 · 1147 阅读 · 0 评论 -
Best questions about python at stackoverflow in 2016
1. 使用pythonic的方式避免“if x : return x”的语句。Question: I have a method that calls 4 other methods in sequence to check for specific conditions, and returns immediately (not checking the following ones)翻译 2017-02-26 10:11:28 · 676 阅读 · 0 评论 -
python并发
使用多线程可以有效的利用CPU资源(Python例外)。然而多线程所带来的程序的复杂度也不可避免,尤其是对竞争资源的***同步***问题。 然而在python中由于使用了全局解释锁(GIL)的原因,代码并不能同时在多核上并发的运行,也就是说,**Python的多线程不能并发**,使用多线程来改进自己的Python代码后,程序的运行效率却下降了。原创 2017-02-24 23:25:14 · 690 阅读 · 0 评论 -
sql语句优化的13中方法
执行计划是数据库根据SQL语句和相关表的统计信息作出的一个查询方案,这个方案是由查询优化器自动分析产生的,比如一条SQL语句如果用来从一个 10万条记录的表中查1条记录,那查询优化器会选择“索引查找”方式,如果该表进行了归档,当前只剩下5000条记录了,那查询优化器就会改变方案,采用 “全表扫描”方式。 可见,执行计划并不是固定的,它是“带有相当个性的”。如何产生一个正确的“执行计划”原创 2017-01-02 00:32:46 · 4027 阅读 · 3 评论 -
redis 数据库中Set的使用方法
redis中的Set数据结构是非常常用的,相对应的指令有很多,在这里罗列了一些,方便查询:SADD bbs “shuimu” ##添加单个或者多个元素到bbs Set中;SCARD bbs ##返回bbs中的元素个数,时间复杂度为O(1);SSCAN bbs ##迭代bbs中的元素,类似于SCAN;SDIFF bbs bbs-1 ##返回存在于bb原创 2016-11-28 21:51:33 · 1949 阅读 · 0 评论 -
用正则表达式匹配IPV4地址
写一个正则表达式匹配IPV4地址说容易也容易,说难也难,取决于需要的准确度。简单起见,这里只考虑点分十进制的IPV4地址。 最简单的方式是把IPV4地址看做四段十进制数字串,由三个点号隔开,可以采用如下写法:^\d+\.\d+\.\d+\.\d+$就其本身而言没有问题,但会错误地匹配"448.90210.0.65535"这样的字符串,而一个恰当的IPV4表示法中每个域中的值不应大于255。但写一个匹配0到255的整数的正则表达式并不容易,因为正则表达式不理解算术,而是单纯基于文本。原创 2015-09-11 23:32:46 · 8347 阅读 · 1 评论 -
为什么HTTP有时候比HTTPS好?
做为一家安全公司,我们在站点Stormpath上经常被开发者问到的是有关安全方面最优做法的问题。其中一个被经常问到的问题是:我是否应当在站点上运行HTTPS?很不幸,查遍整个因特网,你大多数情况下会得到同样的建议:加密所有的东西!对所有站点进行SSL加密等等!然而,现实情况表明这通常不是一个好的建议。许多情况下使用HTTP比使用HTTPS要好很多。事实上,HTTP是转载 2015-05-24 17:53:49 · 692 阅读 · 0 评论 -
Anaconda 3.6安装wordcloud 词云出现问题[已解决]
最近看了好多网上的词云分析,感觉效果很出色,决定自己动手来试试,就打算安装wordcloud,但是在安装过程中出现了问题,采用下面两种常见的安装方式都不行啊。。。pip install wordcloudconda install wordcloud都会报同一个错误: 无语了。。。 我甚至直接指定了镜像, pip install -i https://pypi.tuna.tsinghua原创 2017-07-15 09:53:58 · 19139 阅读 · 10 评论