Azex0-CSDN博客

原创 MongoDB 聚合

MongoDB 聚合MongoDB 中聚合(aggregate)主要用于处理数据(诸如统计平均值，求和等)，并返回计算后的数据结果。有点类似SQL语句中的count(*)。aggregate() 方法MongoDB中聚合的方法使用aggregate()。语法aggregate() 方法的基本语法格式如下所示：>db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)集合中的数据如下：{ _id: Object...

2021-11-12 10:10:16 98

原创 nginx

Nginx是一款轻量级的Web服务器、反向代理服务器，由于它的内存占用少，启动极快，高并发能力强，在互联网项目中广泛应用。由于防火墙的原因，我们并不能直接访问谷歌，那么我们可以借助VPN来实现，这就是一个简单的正向代理的例子。这里你能够发现，正向代理“代理”的是客户端，而且客户端是知道目标的，而目标是不知道客户端是通过VPN访问的。当我们在外网访问百度的时候，其实会进行一个转发，代理到内网去，这就是所谓的反向代理，即反向代理“代理”的是服务器端，而且这一个过程对于客户端而言是透明的。Nginx的

2021-11-05 15:01:45 91

原创 flume整合kafka

整合流程Flume 发送数据到 Kafka 上主要是通过KafkaSink来实现的，主要步骤如下：1. 启动Zookeeper和Kafka这里启动一个单节点的 Kafka 作为测试：# 启动ZookeeperzkServer.sh start# 启动kafkabin/kafka-server-start.sh config/server.properties2. 创建主题创建一个主题flume-kafka，之后 Flume 收集到的数据都会发到这个主题上：# ...

2021-10-29 16:37:47 1287

原创 Hadoop运行环境搭建

配置SSH因为hadoop的启动运行，需要用到ssh登陆，为了避免每次都输入密码，可以设置ssh免密码登陆。首先测试本机的ssh是否安装，以及ssh服务是否正常启动。当前登陆用户为前面创建的hadoop用户，在控制台下执行如下命令：ssh localhost一般会提示输入hadoop用户密码，如果输入正确密码后，显示登陆成功，表示ssh一切正常。执行exit命令可以退出ssh。这时我们可以通过如下的设置来达到ssh无密码登陆。1、用hadoop用户登陆后，执行如下命令ssh-keygen -t

2021-10-15 16:02:15 206

原创 Python爬虫案例

1.爬取强大的BD页面，打印页面信息import requests #导入爬虫的库，不然调用不了爬虫的函数response = requests.get("http://www.baidu.com") #生成一个response对象response.encoding = response.apparent_encoding #设置编码格式print("状态码:"+ str( response.status_code ) ) #打印状态码print(response.text)#输出爬取的

2021-09-25 14:17:06 129

原创 ssh免密登录

SSH是安全外壳协议，而open-ssh则是SSH的开源实现，CentOS通常是默认安装了open-ssh的。整个SSH服务是包含SSH服务端(openssh-server)和SSH客户端(openssh-clients)的，常用的ssh命令就是客户端一部分。SSH服务端与SSH客户端之间的关系：...

2021-09-18 15:09:22 165

Azex0的博客