![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
总结学习
文章平均质量分 69
愚天者
这个作者很懒,什么都没留下…
展开
-
hadoop环境新手安装教程
这一步需要对hadoop下的 core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件进行配置。这里我用了3台虚拟机,1台改为master,另外2台分别改为node1和node2。(3)IP地址改写,这里需要修改虚机的配置,选择NAT模式,DHCP选择想要的网段就行。这里根据每台虚机的ip选择相应的hostname就行。7、环境的配置已经改完了。(2)hadoop安装包:我的是hadoop-3.3.1。原创 2023-02-15 00:37:02 · 2459 阅读 · 0 评论 -
jupyter notebook 修改kernel内核环境
新安装的conda虚拟环境tensorflow 中安装有mxnet,后台可以引用mxnet,但是使用jupyter notebook 打开后引用时却报无法找到此模块的错误,网上查找资料后发现是需要新增kernel环境到jupyter 中,于是借鉴了博客Jupyter Notebook 增加kernel的方法,成功将tensorflow虚拟环境添加进了jupyter的内核环境中,其它有类似场景的也可以一样操作解决。1、首先确定自己是否安装有ipykernel 模块,没有的话可以使用命令 conda in.原创 2021-09-07 23:58:59 · 3817 阅读 · 0 评论 -
mongodb使用过程中的问题记录
在安装完mongodb后使用的时候发现mongodb没有设置访问权限,只要是连接上去后就可以随意操作,安全性很低,于是尝试进行权限设置,但是在参照网上的教程进行权限设置的过程中发现自己走了一些弯路,现在记录下来,留作启示。1、首先区分一下mongodb的服务端和客户端,启动服务端的程序是mongod后面加一些参数,也可默认执行配置文件中的参数,然后是启动客户端连接是mongo命令后面加一些参数...原创 2019-07-16 20:25:56 · 218 阅读 · 0 评论 -
数据库基础入门
一、基本概念目前比较流行的开源数据库是mysql,掌握好mysql,其它类型数据库原理也类似。mysql数据库使用sql语言进行操作,其规范具有如下特点:1、sql语言不区分大小写2、默认是以" ; "结尾(使用delimiter+"特定符号"可以修改结束符,如常用的delimiter $$)3、sql语句可以换行写,但是同一个单词不能跨行写4、使用空格和缩进来提高语句的可...原创 2018-12-24 14:50:32 · 244 阅读 · 0 评论 -
爬虫之豆瓣的自动登陆
刚刚学习了一下BeautifulSoup模块,尝试着按照视频的教程自己实现了一下豆瓣网的自动登陆。现在将整个学习过程做一下记录。1、网页分析如上图所示,为豆瓣网的登陆页面。可以看到登陆链接为https://accounts.douban.com/login由于这里存在验证码的问题,而我们目前只是学习阶段,并不需要花钱去买相应的解析接口,所以采取的方式是采用get方法获取验证码...原创 2018-12-11 17:05:04 · 985 阅读 · 0 评论 -
关于pickle模块追加写入读取的问题
刚刚学习pickle模块对数据进行序列化存储,但是在使用过程中发现按照教程上的追加写入后,读取出来的总是第一个对象。查找资料后发现,Pickle 每次序列化生成的字符串有独立头尾,pickle.load() 只会按顺序读取一个完整的结果,所以只需要在 load 一次之后再 load 一次,就能读到第二次序列化的 对象。如果不知道文件里有多少 pickle 对象,可以在 while 循环中反复 lo...原创 2018-12-16 16:32:09 · 11621 阅读 · 2 评论 -
利用scrapy框架递归爬取菜谱网站
介绍:最近学习完scrapy框架后,对整个运行过程有了进一步的了解熟悉。于是想着利用该框架对食谱网站上的美食图片进行抓取,并且分别按照各自的命名进行保存。1、网页分析爬取的网站是www.xinshipu.com,在爬取的过程中我发现使用xpath对网页进行解析时总是找不到对应的标签,但是xpath路径又没有错误。这点一直让我很费解,直到我手动将request获取到的响应源码保存到本地进...原创 2018-12-13 11:05:03 · 903 阅读 · 0 评论 -
Scarpy爬虫框架入门
前期准备:(1)首先需要下载安装:1、python环境,这里我使用的是python3.6,建议不要使用该版本之后的版本,因为后面还需要安装对应python版本的pywin32程序,而该程序暂时没有python3.6后面的对应版本。2、scrapy 框架,这个直接使用pip install 进行安装就行。3、对应python版本的pywin32程序,这个可以根据自己的电脑版本搜索对应...原创 2018-12-05 16:33:13 · 415 阅读 · 0 评论 -
openFileName.filter过滤器的语法规则
最近在使用OpenFileName结构时,碰到一个需求,就是要求只将后缀为.xlsx和后缀为.csv的文件进行返回显示,但是上网搜索如何书写openFileName.filter并没有搜到描述特别清楚的,最后经过尝试摸索彻底弄明白了过滤器的语法规则。首先在filter表达式中是由“文件筛选字符串对”+“ MS-DOS 通配符文件”两部分组成:文件筛选字符串对:就是对被筛选的格式说明,比如说...原创 2018-11-09 23:14:47 · 3807 阅读 · 1 评论