大数据
勿在浮沙筑高台
专业软件定制开发:wms,dms,电商平台,cms,html5,web,app定制定制开发,
产品:门禁系统,oa系统
物联网物业系统
展开
-
Mysql语句查询统计一天中每个小时数据的数量统计
floor函数是mysql的向下取整函数如floor(1.2)=1。Mysql查询一天中每半小时记录的数量。每个小时内卖出的订单总数。转载 2022-07-20 15:59:18 · 4154 阅读 · 0 评论 -
mongodb 加最高权限的用户和密码 robo3t 连接的是不至于没权限
表示没有权限,那就赶紧添加用户吧切换到admin库use admin;添加用户db.createUser( { user: "sa", pwd: "sa", roles: [ { role: "root", db: "admin" } ] });既然已经添加了用户用sa账号登录db.auth('sa','sa');...原创 2020-03-27 22:02:35 · 1168 阅读 · 0 评论 -
被神化的海量数据处理和高并发处理
其实任何简单的问题,只要规模大了都会成为一个问题,就如中国人口多,很多小问题都会变成大问题一样。但处理这种海量数据的方法无非就是分治和”人海”战术。使用人海战术的前提是问题的划分能够支持这种人海战术,其手段无非是切割(纵向,横向)和负载均衡。纵向分隔主要是按业务(功能)来分,也就是所谓面向服务架构,横向分隔方式比较多,主要依赖于所处理的对象属性,比如时间属性或者特定业务数据属性划分(比如铁路客票的转载 2016-02-17 11:25:01 · 276 阅读 · 0 评论 -
服务器反爬虫攻略
上次服务器突然瘫痪了,我花了一整夜的时间查看日志,分析apache的访问日志,发现同一个时间段(大概下午3点左右)有好几个爬虫的访问痕迹 (百度、google、搜狗、雅虎、搜搜、还有一个不知名的爬虫),他们一起来光临服务器(因为服务器上面当时放在大概十多个独立网站,导致爬虫们同时光 临)导致服务器在那一时段流量大增,机房打电话来说流量异常,我当时正在银行办支票的入账。赶紧火急火燎的跑回办公室,直接转载 2016-02-17 09:59:50 · 1330 阅读 · 0 评论 -
爬虫攻略
互联网 Web 就是一个巨大无比的数据库,但是这个数据库没有一个像 SQL 语言可以直接获取里面的数据,因为更多时候 Web 是供肉眼阅读和操作的。如果要让机器在 Web 取得数据,那往往就是我们所说的“爬虫”了。现在项目需要,所以研究研究,把大概的过程和“坑”记录下来,也欢迎大渣批评和补充。爬虫的思路十分简单:按照一定的规律发送 HTTP 请求获得页面 HTML 源码(必要时需要转载 2016-02-17 09:56:36 · 567 阅读 · 0 评论