- 博客(26)
- 资源 (10)
- 收藏
- 关注
原创 MySQL: InnoDB Multiple files found for the same tablespace ID
data/下面有个data即/data/data/ #内也有binlog.00000..等文件。于是把里面的这一层目录强制删除,启动,问题解决,数据还原成功了,查了一下mysql对应的数据目录,发现目录里面还套了一层与上级目录一样的目录。数据目录: /data/ #内有 binlog.00000..等文件。docker还原mysql的时候,报了上述错误,一时布置所措。应该是在复制目录的时候,多复制了一方到了数据目录里面导致的问题。上述报错:同一个表空间含有多个文件被发现。
2024-03-30 01:06:28 603 1
原创 Windows 10下安装CUDA、cuDNN以及 paddlepaddle
(1)下载CUDA并安装https://developer.nvidia.com/cuda-downloads选择windows安装包,一步一步安装即可。验证cuda的安装成功,可以执行,cuda的extras\demo_suite目录下的deviceQuery和bandwidthTest,能正常获取到设备、带宽的,表示cuda安装成功。(2)下载cuDNN下载地址:https://developer.nvidia.com/downloads下载cuDNN Library For W
2021-03-07 17:37:39 6337 5
原创 Linux文件权限控制
linux文件权限控制命令为chmod权限数字可以用四位数字表示,常见的如 4764、0742等等,一些拿0764举例说明;(1)四位数字代表的意义这四位数字分别表示用户id位,属主权限位,组权限位,其他用户权限位,如4764这个权限值,:4为用户id位,该字段表明的是特殊含义,下面单独描述。7为属主权限位,表示文件或文件夹所有者的权限,chmod用u表示(user的首写字母)。6为组权限位,表示文件或文件夹所有者所在组的权限,chmod用g表示(goup的首写字母)。4为.
2020-12-18 17:10:34 308 1
原创 好的GO代码库
1.资源文件转化为string或其他,直接打入二进制包中:github.com/gobuffalo/packr2.go执行js脚本github.com/dop251/gojagithub.com/robertkrimen/otto
2020-12-16 16:06:42 345
原创 Webpack升级到5的一系列坑
工程中的依赖webpack升级到5以后,遇到了一系列的报错,可能是webpack引起的,也可能是项目中的依赖导致的,问题如下:(1)Buffer is not defined这个问题代码出在mqtt-packet这个依赖包中,查看github代码,该依赖包的工程根目录下:constants.js有一段代码:protocol.SESSIONPRESENT_HEADER = Buffer.from([protocol.SESSIONPRESENT_MASK])其中Buffer找不到定义了。.
2020-12-02 10:17:24 4118
原创 mac os系统删除app以后,launch pad图标无法删除的解决方法
执行命令:defaults write com.apple.dock ResetLaunchPad -bool true再执行命令killall Dock即可
2020-11-22 20:11:30 387 1
原创 csr crt key pem
csr:请求证书的证书crt pem:公钥key:私钥crt装pem:openssl x509 -in mycert.crt -out mycert.pem -outform PEM
2020-02-03 15:07:50 2166
原创 scrapy学习之路(八)网页解析:BeautifulSoup
scrapy通过selenium获取到网页以后,为了获取数据,我们需要对网页进行解析,BeautifulSoup是一种比较好用的页面解析工具。(一) 安装beautifulsoup4 pip installbeautifulsoup4(二)在spider中解析网页: (1)引入模块: from bs4 import Beautiful...
2020-01-16 14:46:27 846
原创 scrapy学习之路(七)selenium获取网页中的图片或多媒体信息
方案是通过DesiredCapabilities设置prefs通过页面的加载日志来获取,依然在DownloaderMiddleware中实现:(1)webdriver设置perfs:prefs = {"profile.managed_default_content_settings.images": {2}}d = DesiredCapabilities.CHROME...
2020-01-15 11:30:55 583
原创 elasticsearch学习之路(一)docker单机安装elasticsearch
基本的命令为: docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.5.1扩展:添加配置文件并且暴露数据:docker run -p 9200:9200 -p 9300:9300 -v /...
2020-01-14 13:54:46 171
原创 kafka学习之路(一)docker安装kafka
kafka依赖于zookeeper,所以安装kafka需要对应的安装zookeeper这里采用wurstmeister/kafka和wurstmeister/zookeeper这两个镜像。(1)下拉镜像:docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka(2)基本的启动命令启动zoo...
2020-01-13 16:10:22 249
原创 scrapy学习之路(六)selenium 模拟下拉加载
很多网页,有下拉加载或者懒加载的功能,如何爬取这类网站呢?还是通过selenium模拟人工操作来实现,这里以下拉加载为例介绍,依然在DownloaderMiddleware中实现该功能,具体代码如下:在process_request方法中,判断是需要处理的页面以后,加入如下代码:driver = spider.driverdriver.get(request.url)time....
2020-01-10 15:36:40 1812 1
原创 scrapy学习之路(五)一种实现登陆爬取的方案:selenium
很多网站是需要登陆的,并且有自己的登录逻辑,通过selenium可以实现模拟网站登录以及事件的点击,是一种比较难拦截的爬虫方案。 先决条件: (1)首先需要引入selenium和requests类,在requirements.txt中加上这两个以后,在venv中执行pip install即可,一定要在venv中执行,否则可能报错。 (2)安装对应的chromedri...
2020-01-09 16:45:12 331
原创 scrapy学习之路(四)给scrapy一个爬取目标
运行环境和开发环境搭建好了,scrapy的基本运行流程也有了基本了解以后,我们会有个疑问?如何让schedule组件知道我需要爬取的网站的网址了?我们需做的是给scrapy一个爬取的目标。使用vscode打开创建的工程(工程创建方法:https://blog.csdn.net/huyongchao98/article/details/103909481不了解scrapy的同学,请从https...
2020-01-09 16:16:41 243
原创 scrapy学习之路(三)scrapy基本架构和代码结构
本文以https://blog.csdn.net/huyongchao98/article/details/103909153和https://mp.csdn.net/postedit/103909481为基础,讲解scrapy基本架构和代码结构,熟悉scapy工作的基本流程和原理。先看一下scrapy的基本架构图:各组件的作用:引擎(Scrapy)用来处理整个系统的数据流处理...
2020-01-09 15:50:54 548
原创 scrapy学习之路(二)开发环境搭建
本文以vscode为例,搭建scrapy开发环境。首先安装https://blog.csdn.net/huyongchao98/article/details/103909153需要搭建运行环境,并且创建出了自己的工程。使用vscode打开该工程,开始搭建vscode版本的scrapy开发环境。(1)安装python扩展。(2)安装yapf格式化工具。(3).vscode设置工...
2020-01-09 15:37:28 277
原创 scrapy学习之路(一)运行环境搭建
以mac os为例:(1)安装Python 3 下载https://www.python.org/downloads/release/python-364/安装即可 (2) 安装pip依赖 https://pypi.org/project/pip/#files下载安装即可。(3)为pip设置代理 pip install -i http...
2020-01-09 15:33:42 261
原创 mac os 代码安装ffmpeg
(1)下载代码:git clone https://git.ffmpeg.org/ffmpeg.git(2)配置:到代码目录下,执行:./configure --prefix=/usr/local/ffmpeg --enable-gpl --enable-nonfree --enable-libfdk-aac --enable-libx264 --enable-libx265 --...
2019-12-15 12:31:03 200
原创 mac os下vscode常用快捷键
ctrl + - :跳回到上一个文件查看处。ctrl + shift + f: 全局搜索。commond+f: 文件内搜索。
2019-11-15 10:46:45 280
原创 kubeadm 安装完毕执行命令报The connection to the server localhost:8080 was refused
解决方案:执行命令:mkdir -p $HOME/.kubesudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/configsudo chown $(id -u):$(id -g) $HOME/.kube/config即可解决。另外Unable to connect to the server: x509: cert...
2019-10-08 21:27:19 1400
翻译 阿里云centos 7下kubeadm方式安装kubernetes 1.14.1集群(包含解决墙以及各种坑的问题)
(一)所有节点(master和worker node)都执行的命令1.关闭系统swap功能,否则kubernetes无法正常启动swapoff -afree -h命令 swap空间为0时关闭成功2.升级系统:sudo yum update -y3. 安装dockersudo yum install -y docker查看docker版本sudo...
2019-04-29 21:02:05 2581 1
转载 【Mongodb】用户和认证 权限总结
开启MongoDB服务时不添加任何参数时,默认是没有权限验证的,登录的用户可以对数据库任意操作而且可以远程访问数据库! 在刚安装完毕的时候MongoDB都默认有一个admin数据库,此时admin数据库是空的,没有记录权限相关的信息!当admin.system.users一个用户都没有时,即使mongod启动时添加了--auth参数,如果没有在admin数据库中添加用户,此时不进行任何认证
2014-11-20 16:31:49 295
转载 Objective-C中nil使用的最佳实践
没有必要将nil作为初始值赋给变量1NSString *myString = nil;上面的代码与不带nil效果相同,所以让我们保持简洁:1NSString *myString;属性的处理也是一样。记住nil与0等价,而后者
2014-11-20 10:00:14 291
转载 MACBOOK PRO 键盘符号对应表
Mac OS 上的快捷键都是用符号加字母标注的。刚接触Mac系统时对那些符号经常会搞不清那些符号对应的哪个键。(Command 键) – 在某些 Apple 键盘上,此键也可能带有 Apple 标志()(Control 键)(Option 键)-“Alt”可能也出现在此键上(Shift 键)(Caps Lock 键)- 切换大写字母锁定开或关fn
2014-11-20 09:43:02 5008
转载 Java中获取路径的各种方法
1、 java文件中获得路径Thread.currentThread().getContextClassLoader().getResource("") //获得资源文件(.class文件)所在路径ClassLoader.getSystemResource("")Class_Name.class.getClassLoader().getResource("")
2014-11-20 09:37:53 238
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人