笔记
时间旋风���
这个作者很懒,什么都没留下…
展开
-
2021-03-26
判断网页是否为XHR阿贾克斯请求1.通过网络爬虫爬取搜索栏中对应的url,检查中查看是否是get或post请求,用get或post方法获取响应内容,持久化存储,转化为.html文件,打开html文件的web看是否与原网页相同,如果不相同则为XHR阿贾克斯请求2.在检查中,点elements (元素)点击左上角箭头,点击网页中的某个位置,复制html中title的值(元素),点击network,→ALL→清空,查找并点击与搜索栏对应的URL,→response→Ctrl+F查找→黏贴,看界面是否有对应的值原创 2021-03-26 16:36:37 · 198 阅读 · 0 评论 -
2021-03-16
**hadoop中安全模式出现的问题**1.当namenode设置为slaves时,上传大文件(这时数据块会分给namenode)最终使namenode的磁盘空间溢满,用df -h可查看磁盘空间,namenode的磁盘爆掉,所以hadoop集群进入了安全模式(安全模式导致的结果就是无法上传数据到hdfs以及删除hdfs的数据,只能读hdfs的数据),要解除安全模式,需要删去之前上传的数据块(在/dfs/data…),使磁盘空间得到释放,可以使用du -h查看文件大小(以确定数据块的准确位置),重启集群原创 2021-03-16 18:08:04 · 67 阅读 · 0 评论 -
2021-03-11
hdfs写(存储)数据原理总结在3个datanode中,当备份设置为2(两个备份时),这时大文件的每个数据块都会备份2个,并且随机存储在两个不同的datanode中,甚至数据块的2个备份一个存储在datanode01,一个存储在datanode03,这个过程可以依据NN根据客户端上传文件的副本数(为2),根据机架感知策略选取指定数量的DN节点返回比如,客户端与datanode01发起通道建立请求,datanode01节点向通道中的(距离当前dn01距离最近)下一个节点datanode03发送建立通道请原创 2021-03-11 20:03:57 · 115 阅读 · 0 评论