大数据和机器学习研究

原创 [bigdata-57] redis集群方案+监控+内存复制

1. redis在3.0之前只支持单实例，内存可以到100G~1T级别。2. 在没有集群之前，各家的解决方案是，把数据分片sharding存储在多个redis实例，每个片是一个redis实例。3. 集群方案1--客户端分片    3.1 分片逻辑在redis客户端实现。redis客户端按照预先定义好的路由规则，把对key的访问转发到不同的redis实例，最后把返回结果汇集。

原创 [bigdata-56] py3+selenium 抓取学信网 最简demo

各种情况不考虑，只演示核心功能。#!/usr/bin/env python3# !-*- coding:utf-8 -*-"""演示如何抓取学信网"""import timefrom selenium import webdriverdef get_sub_regions(browser, url): #登录页面 browser.get(url)

原创 [bigdata-55] python3 操作redis

1. 安装pip3 install redis2. 测试连接#!/usr/bin/env python3#! -*- coding:utf-8 -*-import redisr = redis.StrictRedis(host='192.168.1.xxx', port=63790, db=0, password='z88')ret = r.set('foo', '

原创 [bigdata054] python3 urllib的timeout测试

#!/usr/bin/env python3#! -*- coding:utf-8 -*-import timeimport urllib# requestimport urllib.requestdef test_request_get(): #要打开的url # url = 'http://www.sohuuuu.com' # url = 'http:

原创 [bigdata-053] flask开发和高并发部署

Flask的web server，可以以python3 myflask.py的方式运行，但这种方式不能用于生产环境，不稳定，比如说，每隔十几分钟，有一定概率遇到连接超时无返回的情况。有各种方式部署。比较简单的方式，就是用gevent部署。1. pip3 install gevent2. myflask.py如下#!/usr/bin/env python3#! -*

原创 开发语录

1. 如果在计算里有除法，比如a/b，一定要判断b是否为零，任何情况下。如果将str转化成int，一定要判断异常，因为str可能是''或者各种字符串，转化不成功。2. 如果要存储到一个文件，比如检查文件是否存在，任何情况下。3. 不要信任别人传过来的参数，一定要检查，检查格式，检查内容，检查是否空，任何情况下。4. 在量大的情况下，小概率事件，一定会发生，不可能发生的事情，一定会发生，...

原创 [bigdata-052]在centos7上配置一个https主机

在centos 7 上配置一个https主机1. 登录  ssh root@121.41.xxx.xxx2. 安装opensslyum install opensslyum install openssl-devel.x86_643. 安装nginx3.1 参考文档https://my.oschina.net/liucao/blog/4702

原创 [bigdata-51] 一个高并发的 web 爬取 状态更新系统