![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Yzxxx__
无人理睬时,坚定执着。万人敬仰时,心如止水。
展开
-
linux安装Tengine
Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础上,针对大访问量网站的需求,添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网,天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。下面介绍Tengine的安装步骤1.将tengine-2.1.0.tar.gz拷贝至Linux用户目录中。2.接下来解压t...原创 2019-08-28 10:43:44 · 260 阅读 · 0 评论 -
Nginx配置反向代理和负载均衡
1.配置反向代理编辑配置nginx 配置文件,在安装目录下找到nginx.conf 配置如下代码–反向代理:proxy_pass ip:port[uri]; server { listen 80; server_name www.360.com; location /{ root /mnt;...原创 2019-08-28 15:03:20 · 87 阅读 · 0 评论 -
大数据学习-----HDFS的读写流程
1.HDFS写流程•HDFS写流程–Client:•切分文件Block•按Block线性和NN获取DN列表(副本数)•验证DN列表后以更小的单位流式传输数据–各节点,两两通信确定可用•Block传输结束后:–DN向NN汇报Block信息–DN向Client汇报完成–Client向NN汇报完成•获取下一个Block存放的DN列表•最终Client汇...原创 2019-08-29 10:12:00 · 112 阅读 · 0 评论 -
hadoop 安装配置(伪分布式)
1.ssh免密钥(本机)[root@node01 ~]# ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa[root@node01 .ssh]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys2.安装JDK[root@node01 ~]# rpm -i jdk-7u67-linu...原创 2019-08-30 09:54:51 · 79 阅读 · 0 评论 -
hadoop 分布式搭建 (基于伪分布式)
•关停集群: stop-dfs.sh•1, 每台服务器要–安装jdk–/etc/hosts (别名,通讯)–调整时钟–配置环境变量–免密钥登陆•控制节点scp自己的id_dsa.pub分发到其他节点•cat ~/node1.pub >> ~/.ssh/authorized_keys–mkdir /opt/sxt•core-site...原创 2019-09-02 14:15:00 · 84 阅读 · 0 评论