仰下-CSDN博客

原创 linux运维学习笔记三之iptables

一、iptables 用户空间的iptables + 内核空间的netfilter iptables实现的是2-4层防火墙功能，7层需要重编内核 1.1 firewall firewall-cmd --help 1.2 iptables 信息查看 -L 列出所有链的规则 -n 将地址和端口以数字形式展示 -v 显示更多信息 --line-numbers 列出信息的时候将

2021-02-26 14:30:39 120

原创 linux运维学习笔记二

一、表达式 1.1 测试语句应用场景：判断条件是否成立表达式：test 表达式 / [ 表达式 ] 1.2 条件表达式逻辑表达式：命令1 && 命令2 命令1 || 命令2 文件表达式：-f 判断输入内容是否是一个文件 -d 判断输入内容食肉是一个目录 -x 判断输入内容

2021-02-22 17:29:11 97

原创 linux运维学习笔记一

一、磁盘命令 df -h 查看磁盘空间 free -h 查看内存使用情况二、文件命令 head 文件名查看文件前n行 tail -f 文件名动态查看文件查看文件后n行 less 文件名 more 文件名 wc 文件名统计文件信息 du [-sh] 查看文件或目录占用磁盘空间大小 find [-name/type] 查找文档三、时间命令 date 系统时间

2021-02-19 10:10:45 172

原创 linux 安装hadoop3.2.1基础上安装spark3.0.1

参考文章一参考文章二先安装完hadoop3.2.1之后，再安装的spark，基于上面的参考安装，spark要依赖scala，然后配置环境坑一：ssh权限问题生成的密钥文件无法修改chattr -ia ~/.ssh/authorized_keys移除无法修改的属性，chmod加权**坑二：安装完成之后,运行spark-all出现Unable to initialize main class org.apache.spark.deploy.master.MasterCaused By: java.

2021-01-29 11:41:07 590

原创 centos7 安装hadoop3.2.1踩过的坑

修改HOSTS配置1. /etc/hosts 添加下面127.0.0.1 master2.修改core-site.xml<property><name>fs.defaultFS</name><value>hdfs://master:9000</value> # 这里是hosts 配置里面的名字</property><property><name>hadoop.tmp.dir</nam

2021-01-13 16:21:16 307

原创 ## asyncio too many file descriptors in select()

asyncio too many file descriptors in select()我在异步爬虫中使用了asyncio.Semaphore 限制了数量在100，但是程序运行到一半就崩溃了，然后我看到了这篇文章Python asyncio/aiohttp: ValueError: too many file descriptors in select() on Windows.将限制改到了30，结果也是一样。也尝试使用connector = aiohttp.TCPConnector(limit=6

2020-11-13 16:44:49 613 2

weixin_44419639的博客