- 博客(150)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 TCP编程
创建和运行TCP服务端的五个步骤1、创建Socket,绑定Socket到本地IP与端口2、开始监听连接3、进入循环，不断接收客户端的连接请求4、接收传来的数据，并发送给对方数据5、传输完毕后，关闭Socket...
2021-05-31 22:07:06
112
原创 CSDN-markdown编辑器
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-05-31 21:52:44
101
原创 2021-05-18
爬取一个网站有很多种方法，选用哪种方法更加合适，则取决于目标网站的结构爬取网站常见方法：1、爬取网站地图2、遍历每个网页的数据库ID3、跟踪网页链接import urllib.request, urllib.errordef download(url,user_agent='wswp', num_retries=2): ''' 下载网页 :param url: 下载地址 :user_agent='wswp' 用户代理 :param n
2021-05-31 21:49:48
122
原创 封装爬虫数据
Item基类：自定义数据类（如BookItem）的基类Field类：用来描述自定义数据类包含哪些字段（如name、price等）自定义一个数据类，只需要继承Item，并创建一系列Field对象的类属性（类似于在django中自定义Model）定义数据类class BookItem(Item): name = Field() price = Field()创建BookItem对象book1 = BookItem(name='Needful Things',price=45.0)
2021-05-31 21:49:04
154
原创 进程和线程
fork实现多进程普通的方法都是调用一次，返回一次，而os的fork方法是调用一次，返回两次，原因是操作系统将当前进程（父进程）复制出一份进程（子进程），这两个进程几乎完全相同，于是fork方法分别在父进程和子进程中返回。子进程中永远返回0，父进程中返回的是子进程的ID。import osif __name__ == '__main__': print 'current Process (%s) start ...' % (os.getpid()) pid = os.fork
2021-05-31 21:48:14
102
原创 socket模块
Socket：提供标准的BSD Sockets APISocketServer:提供服务器中心类，可以简化网络服务器的开发socket类型：Socket类型 描述 socket.AF_UNIX 只能用于单一的Unix系统进程通信 socket.AF_INET 服务器之间网络通信 socket.AF_INET6 IPv6 socket.SOCK_STREAM 流式socket,用于TCP socket.SOCK_DGRAM 数
2021-05-30 19:02:34
427
1
原创 分部式进程
分部式进程是指将Process进程分布到多台机器上，充分利用多台机器的性能完成复杂的任务。分布式进程在Python中依然要用到multiprocessing模块。multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。可以写一个服务进程作为调度者，将任务分布到其他多个进程中，依靠网络通信进行管理。创建分布式进程的步骤：1、建立队列Queue，用来进行进程间的通信。服务进程创建任务队列task_queue,用来作为传递任务给任务进程的通道;服务进
2021-05-30 17:47:30
147
原创 协程
协程（coroutine）又称微线程，纤程，是一种用户级的轻量级线程。协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。因此协程能保留上一次调用时的状态，每次过程重入时，就相当于进入上一次调用的状态。在并发编程中，协程与线程类似，每个协程表示一个执行单元，有自己的本地数据，与其他协程共享全局数据和其他资源。协程需要用户自己来编写调度逻辑，对于CPU来说，协程其实是单线程，所以PCU不用考虑怎么调度、切换上下文，这就省去了CP
2021-05-30 14:48:09
159
转载 用rfkill命令管理蓝牙和wifi
rfkill是一个内核级别的管理工具，可以打开和关闭设备的蓝牙和wifi。#列出所有可用设备rfkill list输出如下：0: phy0: Wireless LAN Soft blocked: no Hard blocked: no2: hci0: Bluetooth Soft blocked: yes Hard blocked: no#关闭编号0的设备rfkill block 0#打开编号0的设备rfkill unblock 0...
2021-05-24 11:13:20
880
原创 css选择器
帮助文档https://www.w3.org/TR/selectors-3/原理：css选择器的语法比xpath更简单一些，功能没有xpath强大。当我们调用Selector对象的CSS方法时，在内部会使用python库的cssselect将css选择器的表达式翻译成xpath表达式，然后调用Selector对象的xpath方法。基本语法构建HtmlResponse对象from scrapy.selector import Selectorfrom scrapy.http import H
2021-05-23 18:51:12
162
原创 xpath使用
基础语法表达式描述/选中文档的根.(点)选中当前节点…(点点)选中当前节点的父节点ELEMENT选中子节点中所有ELEMENT元素节点//ELEMENT选中后代节点中所有ELEMENT元素节点*选中所有元素子节点text()选中所有文本子节点@ATTR选中名为ATTR的属性节点@*选中所有属性节点创建html文档from scrapy.selector import Selectorfrom scrapy.ht
2021-05-23 16:22:34
312
原创 爬虫
用途：避免很多的重复操作或者需要大批量的去查看一些信息需要注意的点：1、检查robots.txt2、查看网站地图http://xxxx/protocol.html,地图会提供所有的网页链接，该文件经常缺失或者过期3、估算网站大小，可以通过google搜索的site关键词过滤域名结果，可以访问http://www.google.com/advanced_search了解到接口和其他高级搜索参数的用法 可以搜索site:xx域名统计总数，site:域名/view只搜索国家页面...
2021-05-18 11:01:34
93
原创 Response内置Selector
在第一次访问一个Response对象的selector属性时，Response对象内部会以自身为参数自动创建Selector对象，并将该Selector对象缓存，以便下次使用。例子如下：from scrapy.http import HtmlResponsetext ='''<html> <body> <h1>Helo World</h1> <h1>Hello Scrapy</h1>
2021-05-16 22:50:51
495
转载 关闭 OOM killer
重启wmware虚拟机时看到mysql服务启动失败，检查日志没有发现问题，检查/var/log/messages中发现是因为内存溢出，mysql进程被oom强制杀掉，是常见的 Out of memory 问题。这通常是因为某时刻应用程序大量请求内存导致系统内存不足造成的，这通常会触发 Linux 内核里的 Out of Memory (OOM) killer，OOM killer 会杀掉某个进程以腾出内存留给系统用，不致于让系统立刻崩溃。如果检查相关的日志文件（/var/log/messages）就会看到下
2021-05-10 11:37:08
2305
原创 svn: Can‘t read stdin: End of file found
jenkins自动发版时，svn下载代码报错如图解决：1、检查了pom文件是没有问题的2、恢复了修改之前的pom文件发版还是报错3、尝试删除服务器上的svn隐藏目录之后，再次执行下载报错提示目录已经是存在的4、把jenkins本地从svn下载的所有的代码以及.svn目录都删除之后，重新jenkins发版可以正常下载不在提示pom文件冲突查找百度时，有说是可以删除pom文件之后，重新上传备份的pom文件可以恢复到正常下载，这个是没有测试的...
2021-02-26 16:11:40
397
原创 TypeError: from_buffer() cannot return the address of the raw string within a str or unicode or byte
报错：TypeError: from_buffer() cannot return the address of the raw string within a str or unicode or bytearray object解决：需要keystone相关的包都卸载重新安装keystone
2021-02-25 13:50:00
989
原创 报错AttributeError: ‘module‘ object has no attribute ‘SSL_ST_INIT‘
完整报错如下：Traceback (most recent call last): File "/usr/bin/nova-manage", line 6, in <module> from nova.cmd.manage import main File "/usr/lib/python2.7/dist-packages/nova/__init__.py", line 30, in <module> import eventlet # noqa F...
2021-02-25 13:47:42
527
1
原创 docker命令记录
docker run --name redis -v /data/redis:/data -p 6379:6379 -d redis redis-server --appendonly yesdocker run -it --network some-network --rm redis redis-cli -h redis
2021-02-25 13:45:53
129
原创 apt-get安装报错Package openstack-dashboard is not configured yet
解决方式：1、sudo mv /var/lib/dpkg/info/ /var/lib/dpkg/info_old/2、sudo mkdir /var/lib/dpkg/info/3、sudo apt-get update4、sudo apt-get -f install
2021-02-25 13:44:09
343
1
原创 2021-01-29
hive安装配置完成之后无法执行show databases;可以正常的执行创建库和表的操作hive命令行执行报错：0: jdbc:hive2://hadoop102:10000> show databases;Error: java.io.IOException: java.io.IOException: Cannot create an instance of InputFormat class org.apache.hadoop.mapred.TextInputFormat as sp
2021-01-29 15:02:02
800
原创 2021-01-28
hive无法启动报错DEPRECATED: hive.metastore.ds.retry.* no longer has any effect. Use hive.hmshandler.retry.* instead注释配置文件hive-site.xml中对应的模块<!--<property> <name>hive.hmshandler.retry.attempts</name> <value>1</value&g...
2021-01-28 17:18:02
115
转载 vue使用History mode之后页面无法刷新
用 Vue.js + vue-router 创建单页应用，是非常简单的。使用 Vue.js ，我们已经可以通过组合组件来组成应用程序，当你要把 vue-router 添加进来，我们需要做的是，将组件(components)映射到路由(routes)，然后告诉 vue-router 在哪里渲染它们。一般开发的单页应用的URL都会带有#号的hash模式，因为整个应用本身而言就只有一个HTML，其他的都是通过router来渲染。如果因为业务需要，或者单纯是觉得带#号不美观，那么可以使用history模式，简单
2020-08-26 12:12:54
2227
原创 python自定义filter函数
缺点：最多两个参数，不能加空格优点：能作为if条件操作步骤如下：1、在Django项目的app目录下创建templatetags模块2、创建任意 .py 文件，如：xx.py 内容如下：#!/usr/bin/env python#coding:utf-8fromdjangoimporttemplatefromdjango.utils.safestringimportmark_saferegister=template.Library()@...
2020-08-22 15:52:34
433
转载 python自定义函数sample_tag
操作步骤如下：1、在Django项目的app目录下创建templatetags模块2、创建任意 .py 文件，如：xx.py 内容如下：#!/usr/bin/env python#coding:utf-8fromdjangoimporttemplatefromdjango.utils.safestringimportmark_saferegister=template.Library()@register.simple_tagdefmy_s...
2020-08-22 15:38:47
393
原创 恢复dg从库之后无法同步数据
使用搭建dg的方式恢复了从库之后，在主库新建表插入数据，从库查看没有同步过来检查主库状态如下从库状态如下NOT ALLOWED：表示当前的数据库不是带有备用数据库的主数据库对比主库和从库的参数发现主库设置如下其它参数正常主库执行下面的操作SQL> alter system set log_archive_dest_state_2=enable;在查看主库的状态已经恢复正常到此主从无法同步的问题得以解决...
2020-05-14 16:35:48
542
原创 dgmgrl报错ORA-16766
首先登录dgmgrl，查看信息如下DGMGRL> show configuration;Configuration - dg Protection Mode: MaxPerformance Databases: primary - Primary database Error: ORA-16778: redo transport error for one or more databases standby - Physical standby data...
2020-05-11 15:13:19
996
原创 datanode HA无法启动
首先，使用start-dfs.sh启动服务之后，在手动启动其它服务器的datanode报错如下2020-04-15 13:52:20,446 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid u...
2020-04-17 18:05:31
311
转载 solr同步mysql数据
1、使用activeMQ http://blog.csdn.net/zhou2s_101216/article/details/778554132、通过配置实现定时同步 http://blog.csdn.net/millery22/article/details/514459643、使用Linux的crontab http://blog.csdn.net/zfszhangyuan/arti...
2020-03-31 09:15:48
420
原创 curl 报错curl: (60) SSL certificate problem: unable to get local issuer certificate
使用docker pull 下载镜像时报curl: (60) SSL certificate problem: unable to get local issuer certificate错误如下图提示是无法加载本地的证书，查看提示的连接是关于证书的介绍提示的连接：https://curl.haxx.se/docs/sslcerts.html查看到有下载CA证书的地方：http...
2020-03-25 14:18:07
3920
转载 Shell脚本日志关键字监控+告警
看关注的公众号发现推送了这篇文档，大概看了一下是发送邮件通知的，暂时用不到，保存一下，万一以后用到可以借鉴一下一、安装邮件服务1、加压tar -jxf mailx-12.4.tar.bz2 -C /usr/src/ && cd /usr/src/mailx-12.4/2、编译make install UCBINSTALL=/usr/bin/install...
2020-03-16 09:38:45
5023
2
原创 安装docker-engine的yum源
[dockerrepo]name=Docker Repositorybaseurl=https://yum.dockerproject.org/repo/main/centos/$releasever/enabled=1gpgcheck=1gpgkey=https://yum.dockerproject.org/gpg
2020-01-20 09:34:56
407
1
转载 django删除表重建
删除django的表之后重新运行 python manage.py makemigrations python manage.py migrate 没有重新新建删除的表，百度搜索了一篇很不错，操作之后删除的表恢复了先到数据库把表删掉：drop table注释django中对应的Model执行以下命令： python manage.py makemigr...
2020-01-17 09:18:29
250
转载 安装gitlab
有需求需要搭建一个gitlab，找官网查看安装提示的是安装企业版，没有找见社区版，经过百度查找发现一个特别好的文章，参考一步步就完成，很顺利就是下载镜像慢点部署环境：1、系统：centos 72、基础：docker步骤：1、拉取镜像docker pull gitlab/gitlab-ce2、创建宿主机的数据目录mkdir -p /data/gitlab/etcm...
2019-12-26 16:08:45
152
原创 检查rpm包是否安装
需要安装一个gitlib，又不想把所有的包在更新一遍就写了一个脚本[root@localhost ~]# cat check_yum.sh#!/bin/bashline="readline readline-devel ncurses-devel gdbm-devel glibc-devel tcl-devel openssl-devel curl-devel expat-devel ...
2019-12-26 11:05:15
851
转载 nginx cache功能
1、传统缓存之一（404）这个办法是把nginx的404错误定向到后端，然后用proxy_store把后端返回的页面保存。配置：location / {root /home/html/;#主目录expires 1d;#网页的过期时间error_page 404 =200 /fetch$request_uri;#404定向到/fetch目录下}location /fetch/...
2019-10-12 17:23:36
203
原创 老版本oracle相同版本异机恢复
一、准备环境oracle版本:10.2.0.1系统版本:centos6.81、修改主机名[root@crmdbpri ~]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=crmdbpri2、修改系统版本【oracle10.2.0.1最高支持红帽4】[root@crmdbpri ~]# cat /etc/redhat...
2019-10-12 11:23:58
656
原创 centos7修改root密码
参考链接https://blog.51cto.com/8686505/2379290?source=dra平时用不到，用到的时候又记不住怎么操作，所有找了一个用着是可以成功的，保存一下方便以后再找^-^1.修改思路systemd 的管理机制中，rescure 模式和 emeryency 模式是无法直接取得 root 权限的，需要使用 root 密码才能进入 rescure 和 emeryenc...
2019-09-23 10:02:15
302
转载 expand 与 unexpand 命令
做车的时间刷了刷手机，忽然看到两个命令，之前重来没有看到过，可以直接修改文件中的tab键看到的地方是：订阅号《linux爱好者》原文是公众号《linux中国》expand 和 unexpand 命令用于将文件中的 TAB 字符替换为空格，反之亦然。在 MS-DOS 中也有一个名为 expand 的命令，它用于解压压缩文件。但 Linux 的 expand 命令只是将 TAB 转...
2019-06-21 09:06:31
726
转载 nginx的log_format
支持的变量$remote_addr, $http_x_forwarded_for 记录客户端IP地址$remote_user 记录客户端用户名称$request 记录请求的URL和HTTP协议$status 记录请求状态$body_bytes_sent 发送给客户端的字节数，不包括响应头的大小； 该变量与Apache模块mod_log_config里的“%B”参数兼容。$bytes_...
2019-06-20 17:07:57
197
k8s使用networkPolicy网络无法创建
2019-09-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人