- 博客(7)
- 收藏
- 关注
RSS订阅原创 大数据相关整理
1.hdfs1.1.namenode所有文件的读写入口，用来保存文件的元信息元信息包括：fsimage文件： 文件权限信息 文件在block块的偏移量 文件的位置信息editlogs文件：对文件的写操作日志 文件写日志指令，为了安全同步，重启会执行指令1.2.datanode用来真正保存文件内容的节点datanode有很多个，保存的是若干个block块1.3.s...
2019-04-10 01:35:18
7670
原创 [python]---从java到python(03)---爬虫
1.简单网页#!/usr/bin/env python # -*- coding:utf-8 -*-import urllib.requestfile = urllib.request.urlopen("https://www.jd.com")data = file.read()# dataline = file.readline()print(data)fhandle = ...
2019-04-02 21:29:31
7501
原创 [python]---从java到python(02)---多线程，队列
多线程测试#!/usr/bin/env python # -*- coding:utf-8 -*-import threadingimport timeclass A(threading.Thread): def __init__(self): # 初始化改线程 threading.Thread.__init__(self) def...
2019-04-02 21:26:06
7446
原创 [数据库]-----记一次mysql分库的操作（冷热分离）
前提:原有库是mysql数据库,已经根据用户pin分片,每片又是一主两从.主表已经分过表了 而且库中数据量已经超过千万,而且已每天大概3万的数据持续增长,将来每天或许会更多在这个前提下,考虑到数据库将来是否能持续抗住大流量的查询,有了多种方案: 1.用es缓冲 2.用redis缓冲 3.分库...
2019-04-02 17:55:38
16685
3
原创 [数据库]-----mysql数据的冷热分离 第二版
1.前提这次数据库的冷热分离算是第二次做了其实之前已经做过一次冷热分离了,涉及到数据库复制时,当时是趋近于业务的(后面会详细讲),整体来讲不是很好用,这次算是重构了吧做的最终结果还是和前一次一样:数据库中的订单数据,是每时每刻都在增加我们认为3个月以内的数据,用户会频繁的操作,称为热数据3个月以前的数据,基本上不会有修改的地方了,查询也是很少量的,我们称为冷数据所以将现有数据库称之为...
2019-04-02 17:55:19
11461
6
原创 maven更新快照不起作用的解决方法
问题：maven的快照包更新后，调用方使用idea点下面这个地方更新maven，并没有拉到最新的快照解决方法1删除本地仓库的快照包，再重新拉一次解决方法2下图，这里点进去下图，这个勾上就行了，再更新就能每次都拉最新的了...
2019-04-02 17:27:02
11581
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人