![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 80
爱吃零食的水泥大仙
这个作者很懒,什么都没留下…
展开
-
docker部署nginx并设置挂载
前言:最近在学习docker和nginx,因为容器在运行过程中,相关的配置文件及日志都会存在容器内。对容器以来较高,当容器不存在的时候。所有的文件也就都没有了。并且当需要查看日志,修改配置文件的时候必须进入到容器内部,显得更加麻烦一点。所以就引出对于docker下的nginx需要进行挂载到宿主机上。详细操作步骤:1、从docker仓库中拉取nginx镜像docker pull nginx2、查看是否拉取下来docker images3、进入容器内部两种方法:1)、根据名字进入doc原创 2023-10-23 08:50:29 · 358 阅读 · 0 评论 -
白话理解nginx是什么
一、什么是nginx?百度释义如下:Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点(俄文:Рамблер)开发的,第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日,nginx 1.0.4发布。Nginx是一款轻量级的Web原创 2021-01-27 09:53:39 · 230 阅读 · 0 评论 -
Zookeeper内部原理
一、选举机制1)、半数机制:集群中半数以上机器存活,集群可用。所以Zookeeper适合安装奇数台服务器。2)、Zookeeper虽然在配置文件中并没有指定Master和Slave。但是Zookeeper工作时是有一个节点为Leader,其他的则为Flower,Leader是通过内部的选举机制临时产生的。3)、以一个简单的例子来说明整个选举过程。假设五台服务器,没有历史数据,都是最新启动的,都一样。假设这些服务器一次启动。server们都很单纯,1号机启动了首先都是投票选举自己,投给自己之后发现自己原创 2021-01-22 15:47:41 · 255 阅读 · 2 评论 -
CentOs7下安装Docker
原文引用地址:https://blog.csdn.net/u014069688/article/details/100532774一:什么是DockerDocker本质上是一个采用虚拟化技术的容器,基于Linux容器进行再封装,使用户不用关心容器的管理,而简化应用操作。从2013开始有这个项目到现在也不过5年时间,但是发展应用却极其迅速,主要原因就是应用简单方便,传统的虚拟化是基于硬件实现的,如果要部署10个应用,则需要创建10个虚拟机,而Docker是基于操作系统做的虚拟化,也就是复用本地主机的原创 2021-01-21 11:22:23 · 129 阅读 · 0 评论 -
ubuntu OSError:[Errno-9996] Invalid input device(Ubuntu安装pyaudio踩的坑)
遇到问题及经历:1月5日,6日安装pyaudio成功,但是运行程序的时候会报错ubuntu OSError:[Errno-9996] Invalid input device,表示找不到输入设备。google查找错误原因是没有查找到,csdn上也没有相关的帖子和错误。(吐槽:搜的还全是四五年前的帖子,都是僵尸贴,都没个有用的,呸!)检查ubuntu虚拟机功能,录音和播放功能都是正常的。开始怀疑是配置的问题。转过头看一下我安装配置的步骤,我的pyaudio安装配置步骤是按照我5号写的博客(点击查看原创 2021-01-07 17:23:01 · 3465 阅读 · 0 评论 -
ubuntu16.04安装pyaudio失败解决办法
先放几个报错方便同志们能搜索到:error: command ‘x86_64-linux-gnu-gcc’ failed with exit status 1ERROR: Failed building wheel for pyaudiosrc/_portaudiomodule.c:28:20: fatal error: Python.h: 没有那个文件或目录ERROR: Command errored out with exit status 1: /usr/bin/python3.6 -u -c原创 2021-01-05 17:35:40 · 1205 阅读 · 2 评论 -
win10下pip下载永久切换为国内镜像源的方法
直接使用pip下载会很慢。使用国内镜像要快很多。在windows文件管理器中输入“ %APPDATA% ”,如下图所示:跳转到这个目录下创建新文件夹pip文件夹下创建一个记事本文件(txt文件),写入如下代码[global]timeout = 6000index-url = http://mirrors.aliyun.com/pypi/simple/trusted-host=mirrors.aliyun.com我这里使用的是阿里云的镜像红框部分为镜像地址,保存。然后更改文件名为原创 2020-12-28 15:05:25 · 486 阅读 · 3 评论 -
python批量处理文件名的时候出现“File Not Found Error: Win Error 2 系统找不到指定的文件。”的解决办法
遇到问题:我的文件夹下是一堆MP3格式的音频文件,其中含有中文字符。在对这些文件进行批量处理的时候,老文件名和新文件名都能获取到。但是就是在改名的时候报错文件找不到:File Not Found Error: Win Error 2 系统找不到指定的文件。: ‘一yi1.mp3’ -> 'eceace9c386111ebb5e70242ac110002’源码:os.rename(old_name,new_name)报错原因:错误widnowsError [error 2]* 是因为系原创 2020-12-07 18:23:39 · 1624 阅读 · 2 评论 -
最新版MongoDB msi安装教程(MongoDB 4.4.2)
下载地址:https://www.mongodb.com/try/download/community安装:我安装完成了,就文字描述一下(1)、打开msi安装包,勾选“I accept the terms in the Liense Agreement”选项,next(2)、安装程序提供两种模式:完整(Complete)模式和定制(Custom)模式。其中,完整模式会将全部内容安装在C盘路劲无法更改,若要更改安装路径则需要选择(Custom)(3)、单击“Custom”按钮进入定制模式,在定制模原创 2020-12-03 10:23:12 · 1538 阅读 · 0 评论 -
爬虫中url中文常用的编码和加密方式
在爬虫的时候经常会遇到URL中包含中文字符,可以直接指示到.jpg .gif .mp3/4…等文件的地址。但是因为是中文,URL中无法直接显示。网站一般会采用编码或者加密的方式对中文字符进行处理。但是对于编码或者加密的方式不同网站有不同的方法。通常采用的方式有一下几种:一、Unicode编码Unicode编码通常由两个字节组成,称作USC-2,个别偏僻字由四个字节组成,称作USC-4。前127个还表示原来ASCII码里的字符,只不过由一个字节变成了两个字节。unicode编码基本格式为U开头,以斜杠原创 2020-11-30 19:59:46 · 2666 阅读 · 1 评论 -
python直接把汉字转换为拼音
今天任务要把之前获取到的中文例句全部转换成拼音。最开始打算通过爬虫从那些在线转换的网站上面爬取下来。但是所有的网站的都如下图的网站一样,通过页面中js动态加载的。直接从url入手行不通。按我现阶段多掌握的方法,只能通过selenium库进行自动化加载页面,输入文本再通过xpath定位文本爬取。但是selenium库进行爬取太慢了。我两万多条数据得到明天才行了。突然老大一语惊醒梦中人。老大说Java有一个jar包可以实现中文文本直接转拼音。但我比较懒,java第三方jar包下载导入太麻烦了。就想看看pyth原创 2020-11-26 22:03:57 · 3603 阅读 · 1 评论 -
在网页中输入中文进行搜索,如何获取搜索后页面的URL(python urliib中quote的使用)
今天在爬虫工作中发现前几天使用selenium库自动化爬取的时候有一个错误的问题。这个地方我想要或得到搜索后网站的url网址。用了一个笨办法。通过分段获取到代表该字的字符编码。这个有一点多此一举了。之所以我们在网页地址栏看到的汉字变成url以后是其他的编码是因为http协议中,URL只支持部分的ASCⅡ码。对于中文等特殊字符需要进行编码才可。python中的urllib.parse包对于url编码中有一个包可以实现直接编码转换。使用如下:import urllib.parsename = u原创 2020-11-17 21:50:38 · 3014 阅读 · 0 评论 -
不调用网页内容直接批量爬取MP3音频文件
需求:根据字典数据表中的汉字读音列表爬取单个字的拼音音频文件目标网址:https://hanyu.baidu.com/网页分析:F12因为是音频文件。直接在媒体里面找。点击Media,如果是空白的。点击一下页面小喇叭的地方。会跳出文件。根据头部信息header中的url,转到一看。就是所需要的音频文件。多搜几个几个字,对比找寻文件地址规律。云:https://fanyiapp.cdn.bcebos.com/zhdict/mp3/yun2.mp3牛:https://fanyiapp.cd原创 2020-11-11 20:57:51 · 3193 阅读 · 2 评论 -
爬取百度词语的相关内容
需求:根据HSK词汇表搜索相关词语,并爬取其中的拼音,释义、同义/近义/反义词使用语言及编译器:pythonpycharm目标网站:百度汉语:https://hanyu.baidu.com/目标网页分析:网页首页无任何东西,需要搜索进行跳转F12查看JavaScript加载后的网页源代码右击查看网页源代码通过对比,网页搜索跳转以后加载的是静态网页。故不需要进行逆向分析或者使用selenium库。ps.F12调出的是网页html代码的集合,并不是完整的网页html代码爬取思路原创 2020-11-10 21:39:51 · 333 阅读 · 2 评论 -
scrapy框架的安装和搭建
笔记Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用程序框架。可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。其最初是为了网页抓取(网络抓取)所设计的,也可以应用在获取API 所返回的数据(如 Amazon Associates WebServices)或通用的网络爬虫中。了解scrapy爬虫的原理Scrapy是一个爬虫框架而非功能函数库,简单地说,它是一个半成品,可以帮助用户简单快速地部署一个专业的网络爬虫。Scrapy爬虫框架主要由引擎(Engine )、调度器(S原创 2020-11-09 21:58:18 · 241 阅读 · 0 评论 -
selenium库完成网站自动化搜索
动态网页爬取是相对于静态网页爬取而言的。在某些网站,使用静态下载器与解析器对页面目标信息进行解析时,如果没有发现任何数据,多数原因是该网站的部分元素是由Javacript动态生成的(并不是根据字面理解为网页页面的是动态的意思)。此时,使用静态网页爬取方式进行爬取会比较困难,因此需要寻求新的爬取解析方式,即动态页面爬取方法。目前对于动态网页爬取流行的方法一般分为两种:1、逆向分析爬取动态网页,手动分析网络面板的AJAX请求来进行HTML的信息采集;2、在Chrome浏览器中使用Selenium库模拟动态原创 2020-10-30 21:26:05 · 266 阅读 · 0 评论