- 博客(6)
- 收藏
- 关注
RSS订阅原创 nginx
1 nginx相对Apache优点 高并发响应性能非常好，官方 Nginx 处理静态文件并发 5w/s 反向代理性能非常强。（可用于负载均衡） 内存和 cpu 占用率低。（为 Apache 的 1/5-1/10） 对后端服务有健康检查功能。 5) 支持 PHP cgi 方式和 fastcgi 方式。 配置代码简洁且容易上手。 2 nginx工作原理 Nginx 由内核和模块组成，其中，内核的设...
2019-01-14 19:49:09
357
原创 Hive
Hive 1 Hive及数据仓库简介 Hive是基于 Hadoop 的一个【数据仓库工具】，可以将结构化的数据文件映射为一张hive数据库表，并提供简单的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任务进行运行。 非Java编程者对HDFS的数据做mapreduce操作。 使用SQL来快速实现简单的MapReduce 统计，不必开发专门的MapReduce 应用，学习成本低...
2019-01-14 19:45:16
86
原创 HADOOP HDFS
HADOOP HDFS 1 HDFS的优缺点 优点: – 适合大数据处理：GB 、TB 、甚至PB 级及以上的数据 – 百万规模以上的文件数量:10K+ 节点。 – 适合批处理：移动计算而非数据(MR),数据位置暴露给计算框架 – 可构建在廉价机器上 – 高可靠性:通过多副本提提高 – 高容错性：数据自动保存多个副本；副本丢失后，自动恢复,提供了恢复机制 缺点: –低延迟高数据吞吐访问问题 •比如...
2019-01-14 19:44:48
84
原创 Zookeeper
Zookeeper 1 Zookeeper角色 2 Zookeeper特点 最终一致性 : 为客户端展示同一个视图，这是zookeeper里面一个非常重要的功能. 可靠性 : 如果消息被到一台服务器接受，那么它将被所有的服务器接受. 实时性 : Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。 独立性 : 各个Client之间...
2019-01-14 19:44:06
56
原创 MapReduce
MapReduce 1 MapReduce计算框架的组成 2 Mapper – Map-Reduce的思想就好比太极又好比天下大势 Mapper负责“分”，即把得到的复杂的任务分解为若干个“简单的任务”执行。 “简单的任务”有几个含义： 1、数据或计算规模相对于原任务要大大缩小； 2、就近计算，即会被分配到存放了所需数据的节点进行计算； 3、这些小任务可以并行计算，彼此间几乎没有依...
2019-01-14 19:42:35
70
原创 Linux基础入门
Linux基础入门 1 Linux配置网络 vim /etc/sysconfig/network-scripts/ifcfg-eth0 应包含以下配置，除此之外的可以删除掉。 DEVICE=eth0 #网卡设备名,请勿修改名字 TYPE=Ethernet #网络类型，以太网 BOOTPROTO=static #启用静态IP地址 ONBOOT=yes #开启自动...
2018-12-27 21:37:28
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人