- 博客(4)
- 收藏
- 关注
RSS订阅原创 大数据学习(六)HDFS读写机制 hadoop副本存储节点选择
上一篇我们讲过了java的HDFSAPI操作，现在这篇blog分享一下HDFS的读写机制，和hadoop架构中的副本存储节点的选择HDFS写数据机制简述：客户端向namenode请求上传文件，namenode检查目标路径的环境是否已存在。namenode返回上传应答。block上传到哪几个DN节点。namenode返回3个节点，分别为dn1、dn2、dn3。客户端请求dn1上传数...
2019-12-22 18:14:29
1618
原创 大数据学习(五)java实现hdfsAPI
前面搭好了集群，然后也知道了如何用命令行命令来实现文件的管理，然后也可以用web控制面板来查看上传的文件了，很显然在实际的应用中是不可能使用命令行做操作的。有些人可能不知道hadoop一开始是lucene的子项目，那么肯定hadoop就有java的API了，现在就让我们来实现以下比较常见的操作。我是用的伪分布模式进行演示，其实是一样的。maven我建议使用国内的云这个大家上网搜一下mave...
2019-12-22 17:18:55
432
2
原创 大数据学习(四)web控制面板和hdfs常用命令
web控制面板这是非常直观的查看我们的集群状态和文件系统内容的一个web端的dashboard如果大家安装过httpd或者其他服务器的话应该就会很好的理解了。步骤首先打开集群，具体命令和过程可以参考我原来的blog，然后查看ip地址，然后如果你没有对端口做任何的配置那么默认的端口就是50070。那么直接打开你本机的web浏览器输入IP:50070就得到如下图所示：这很简单。当然别忘记...
2019-12-22 14:50:14
454
原创 go web后台实现通信加密认证机制(RSA AES MD5)
简介我提供了一种web通信加密方法，同时包括认证与签名的身份识别机制，完全通过我做过的小程序的token验证的经历和密码学课上数字签名与密码算法的学习所自己完成的。主要面对web端与服务器之间的通信，例如最简单的情况，我们如何能向后台传输用户输入的隐秘信息，除了不被窃取以外还要保证身份可识别，不可伪造等多种重要的安全条件。一下我实现的通信加密以及验证机制可以比较好的避免以上所提到的安全情况，进...
2019-12-20 19:24:00
1214
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人