关闭

【备忘】:fetch API获取返回值的方式

使用fetch API来做后端请求,相比较传统的Ajax方式,在写出的代码上更加容易理解,也更便于别人看懂。但是在使用的过程中,经常有同学不能顺利从传统的Ajax请求(如果使用jquery的话,就是$.ajax,$.post,$.get)转移到新的fetch方式,很多时候就是卡在了获取响应数据的环节上。 用fetch来获取数据,如果响应正常返回,我们首先看到的是一个response对象,...
阅读(2018) 评论(0)

Nginx允许跨域访问的配置问题

如今前后端分离的模式,越来越成为很多团队的选择,通过分离前后端的工作,是的双方更能关注于自己核心的工作领域,只需要通过相应的API接口进行交互。 前后端工作的分离带来的一个问题就是前后端在部署上分离的可能性,在部署上的分离又会触发浏览器安全机制——同源策略,从而导致不能访问非同域的资源。同样要解决跨域访问的问题,网上的解决方案也有很多,就是在跨域资源的响应中,加上允许跨域访问头信息即可。...
阅读(1164) 评论(0)

Python:从subprocess运行的子进程中实时获取输出

有些时候,我们需要将某些程序放到子进程中去运行,以达到整合系统的目的。在Python中,一个非常好的选择就是使用subprocess模块,本模块为开辟子进程去执行子程序提供了统一的接口,更加便于学习和使用。 同时,对于在子进程里的程序,我们希望能够实时获取其输出,以在主进程中打印相关信息,使我们能够了解当前子程序的执行进度。对此,subprocess模块也提供了相应的参数,能够将子程序的...
阅读(2847) 评论(0)

通过Python3.5来学习几种不同的IO模型

计算机的核心资源,基本上就是CPU和内存。我们下面的讨论可以假定CPU只有一个物理核心。 从目前的情况看,CPU很快,IO很慢,即使是物理内存也很慢,否则就不需要CPU设置多层的高速cache了。 CPU主要快在哪里?1、频率;2、指令执行效率,这里主要是硬件级别的指令分阶段并行优化。 所以要充分利用CPU的指令来完成我们的计算任务。对于一个物理CPU来说,每时每刻只...
阅读(667) 评论(0)

Python小技巧 4:利用字典的默认行为

典型代码1: from collections import defaultdict if __name__ == '__main__': data = defaultdict(int) data[0] += 1 print(data) 输出1: defaultdict(, {0: 1}) 典型代码2: if __name__ == '__main__': data = {'...
阅读(1228) 评论(0)

Python小技巧 3:列表项的排序

典型代码1: data_list = [6, 9, 1, 3, 0, 10, 100, -100] data_list.sort() print(data_list) 输出1: [-100, 0, 1, 3, 6, 9, 10, 100] 典型代码2: data_list = [6, 9, 1, 3, 0, 10, 100, -100] data_list_copy = sorted(d...
阅读(934) 评论(0)

Python小技巧 2:列表项的推导式和过滤操作

典型代码1: data_list = [1, 2, 3, 4, 0, -1, -2, 6, 8, -9] data_list_copy = [item for item in data_list] print(data_list) print(data_list_copy) 输出1: [1, 2, 3, 4, 0, -1, -2, 6, 8, -9] [1, 2, 3, 4, 0, -1,...
阅读(771) 评论(0)

Python小技巧 1:列表项的拼接

典型代码: data_list = ['a', 'b', 'c', 'd', 'e', 'f'] separator = '\t' data_joined = separator.join(data_list) print(data_joined) 其输出为: a b c d e f 应用场景 在实现很多业务需求的时候,需要将列表中的每一项按照某种分隔符拼接成一个串,以完成某种序...
阅读(1367) 评论(0)

使用Python接入银联支付和支付宝支付的实现

前置条件:需要安装Python的OpenSSL模块,我使用的版本是16.1.0,可以使用pip install pyopenssl来安装 一、支付宝支付 1. 使用RSA公钥加密系统进行签名和签名验证,需要自己生成一个RSA私钥和对应的一个RSA公钥(在Linux下可以使用ssh-keygen命令来生成),公钥需要上传至支付宝,供支付宝对开发者发送的请求做签名验证使用;而同时支付宝会提供一个R...
阅读(2959) 评论(0)

Maven POM中的各种scope的行为总结

compile:默认的scope。任何定义在compile scope下的依赖将会在所有的class paths下可用。maven工程会将其打包到最终的arifact中。如果你构建一个WAR类型的artefact,那么在compile scope下引用的JAR文件将会被集成到WAR文件内。 provided:这个scope假定对应的依赖会由运行这个应用的JDK或者容器来提供。最好的例...
阅读(4444) 评论(0)

docker基础概念总结

为了简化部署流程,调研了Docker容器技术,总结如下。...
阅读(1070) 评论(0)

Hadoop备忘:Reduce阶段Iterable<VALUEIN> values中的每个值都共享一个对象

/** * Iterate through the values for the current key, reusing the same value * object, which is stored in the context. * @return the series of values associated with the current key. All of...
阅读(1826) 评论(0)

数据分析遐想

目标 数据分析,其总体目标就是对各种系统产生的数据进行有意识地加工,以观察加工之后的数据是否能解释某些问题,或者能发现某些明显的模式。 对于前者,一般是问题驱动,比如产品的销售量突然出现了大幅度的下降,这个问题就驱使产品的销售去分析造成这种大幅波动的原因,这时他可以去市场上收集竞争对手方面的数据,比如它们是否发布了新的产品,抑或是进行了某些大力度的促销活动等等;除了竞争对手的数据,销售...
阅读(788) 评论(0)

利用virtualenv在Hadoop Streaming中使用完全个性化的Python解释器

在使用Python编写Hadoop Streaming作业的过程中,我们发现需要使用一些比较复杂的第三方库,比如numpy,scipy,scikit-learn,pandas等等。而这些库通过简单的zipimport机制又不能正常在工作节点上执行,主要原因是这些库中,有些是有C共享库依赖的。 为了能够解决这个问题,最笨的办法就是,在所有的工作节点上都部署一套相同的Python解释器,并安...
阅读(2231) 评论(1)

第三方数据分析公司的发展方向

从目前的第三方数据分析市场格局来看,第三方的数据分析公司的盈利并不在于数据分析工具(也可以称为统计系统)自身,更多是数据分析报告、对于一些业务相关的数据追踪(也有的叫做归因)服务上、还有一些个个性化的数据服务,比如用户给出数据后让这些第三方公司给出解决方案(如推荐系统)等等。 对于市场形成这样的格局,主要原因还是在于,第三方数据分析公司的最大的优势就在于:数据的不对称性、独立、专业知识。...
阅读(2429) 评论(0)

备忘:Ngnix配置下载目录并限制并发数量与下载带宽的方法

在Nginx的conf.d的目录下,新建一个配置文件downloader.conf,并输入以下内容: limit_conn_zone $binary_remote_addr zone=perip:10m; server{ listen 5757; server_name 192.168.1.124; location / { root /data/do...
阅读(1179) 评论(0)

Apache Storm流处理有序性探究

本文假设读者已经对Storm的基础结构有了全面理解,并知道Nimbus与supervisor在集群之中所扮演的角色。之所以要理解Storm集群的并行机制,是为了能够对数据流中数据地处理顺序有一个深入地理解,这样才能更有信心地使用工具。 首先是需要了解一些与Storm集群并行机制相关地概念: 工作进程(worker process,就是一个JVM进程,通过在supervisor服务器上执...
阅读(3993) 评论(0)

Python3中使用零拷贝技术来提高网络文件传输时的系统吞吐量

首先,推荐一篇好文,这篇文章细致地描述了零拷贝技术的原理,以及其与传统拷贝过程的区别:http://www.linuxjournal.com/article/6345?page=0,0 从总体上来简单总结一下零拷贝技术可以通过对比来理解: 传统的拷贝过程大致是这样一个过程: 1. 通过直接内存访问数据进入操作系统内核的缓存(数据拷贝到内核空间)——CPU将数据拷贝到用户空间—...
阅读(1989) 评论(0)

使用NLTK的朴素贝叶斯分类器来训练并完成分类工作

NLTK是Python的一个自然语言处理的模块,其中实现了朴素贝叶斯分类算法。以下,就使用上一篇文中提到的数据,来应用这个模块实现朴素贝叶斯分类。NLTK的实现更加泛化,所以在应用到我们的数据上时需要做一点的转化。 首先来看一下NLTK官方文档中给出的一个简单明了的例子,在了解这个例子之后,再设法将同样的模型应用到自己的数据集上。官方给出的例子是英文名中,在知道名字中最后一个字母后,判断...
阅读(6936) 评论(2)

使用朴素贝叶斯算法,通过用户安装的APP列表来推测用户的性别

从本质上来说,这是一个分类问题,类似于通过邮件内容来推测垃圾邮件,通过用户的相关信息来推测用户是否会拖欠贷款,而通过用户的APP安装列表来推测用户的性别也是一个类似的问题。 对于贝叶斯算法来首,我们首先需要一个训练集数据,这个训练集是一个已经打好标签的数据。而要对一堆的数据打标签,人工来做是不太合适的,在这里需要结合人类与计算机各自的优势,来半自动化的识别出比较明显的有性别倾向的APP的...
阅读(6441) 评论(4)
174条 共9页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:766010次
    • 积分:6840
    • 等级:
    • 排名:第3771名
    • 原创:121篇
    • 转载:4篇
    • 译文:49篇
    • 评论:155条
    最新评论