![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
软件基础环境配置与IT小技巧
文章平均质量分 65
各种分布式框架如hadoop、Hbase等安装的过程,分享一些有用的IT小技巧
hash怪
热爱技术,尤爱探索
展开
-
深度学习tensorflow运行完成之后C盘爆满,一招解决
无论是哪一个深度学习平台,过大的训练数据都可能导致错误运行之后C盘爆满?解决方法是使用360或者联想等电脑的电脑管家对缓存进行清理: 问题顺利解决!原创 2021-02-14 15:51:54 · 6468 阅读 · 3 评论 -
Flink完成Socketwordcount 本机测试与提交集群
一、任务简述本次实验是基础的Flink应用构建,运行代码是分布式计算领域的“Hello world”——“wordcount”。具体内容是通过netcat在指定端口发布信息,由Flink应用程序对端口进行监听,在一定的时间窗口内接收数据并进行相应的词频率统计。实验代码地址[Link]二、实验环境主机:OS:Linux Manjarojava:openjdk1.8scala:2.11.11Maven:3.6.3(不重要)IDEA:2020-3(不重要)———————————————————原创 2021-01-11 19:59:12 · 666 阅读 · 0 评论 -
Flume+Spark streaming 完成Spark流式处理
[1] Flume简介与安装配置1.Flume简要介绍 Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据,同时Flume提供对数据的简单处理,并将数据处理结果写入各种数据接收方的能力。 官网 http://flume.apache.org/index.html Flume的主要构件如下: 理解Flu原创 2021-01-02 16:46:07 · 664 阅读 · 0 评论 -
VMware和Docker冲突怎么办?超级简单
Win10中Vmware和Docker冲突解决1.为何冲突?Vmware自带虚拟化内核,但是在win10中Docker的工作需要依赖Hyper-V,本质上是Hyper-v和Vmware内核之间的冲突**,毕竟二者提供了相同的功能。PS:安装Hyper-V服务其实也不是一个简单的事情,尤其是当你的系统是win10家庭版的时候,需要多走点流程,但是也很简单:pushd "%~dp0"dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyp原创 2021-01-01 18:19:54 · 2251 阅读 · 1 评论 -
TensorFlow-GPU Navida配置详解(在GPU上运行深度学习模型)这篇超详细!
https://blog.csdn.net/qq_43034505/article/details/107168199转载 2020-07-10 11:27:34 · 2600 阅读 · 0 评论 -
MongoDB分布式搭建手册
centos搭建单机伪分布式MongoDB集群一、实验任务要求使用一台虚拟机搭建伪分布式的MongoDB集群。集群有六台机器,分成六个副本集,S1,S2,S3,S4,S5,S6,每个副本集分三个节点。同一副本集中的节点有一个主节点,两个从节点,从节点的数据与主节点一致;OS为mongos进程(路由服务器);C为config server(配置服务器),设置了三个配置服务器。熟悉使用MongoDB的增删改查操作。1.安装与配置(1)首先,从官网上下载好安装包解压到opt文件夹,命名为mongodbt原创 2020-06-30 20:55:46 · 233 阅读 · 0 评论 -
提高Scrapy的爬取速度
在配置文件中修改相关参数:增加并发默认的scrapy开启的并发线程为32个,可以适当的进行增加,再配置文件中修改CONCURRENT_REQUESTS = 100值为100,并发设置成了为100。降低日志等级在scrapy运行的时候,会输出大量的日志信息,为了减少cpu的使用率,可以设置log输出信息为INFO或者ERROR.在配置文件中编写LOG_LEVEL = ‘INFO’禁止cookie如果不是真的需要cookie,则在scrapy爬取数据的时候可以 禁止cookie从而减少C原创 2020-05-23 22:15:44 · 1458 阅读 · 0 评论 -
pip下载很慢?帮你解决,100%成功(不必翻墙,scrapy、tensorflow下载10M/s)
是不是下载库的时候等了半天进度条也不动、或者就差最后一点了一坨红字跃于眼前???现在这个方法亲测有效,那么多国内镜像源为何不用呢?临时使用:可以在使用pip的时候加参数-i https://pypi.tuna.tsinghua.edu.cn/simple例如:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy,这样就会从清华这边的镜像去安装scrapy库。永久有效1、创建一个隐藏目录名字是 .pipmkdir ~/原创 2020-05-22 23:57:08 · 588 阅读 · 0 评论 -
搜索引擎的高级搜索法在爬虫的应用
问题的抛出:涉及平时我们使用搜索引擎,如必应,百度等,也没有想到说是使用高级搜索。但是为了提高搜索的精度和速度,我们需要对一些必要的高级搜索进行了解。这个问题是在我写爬虫时遇到的。关键的几个高级搜索:问题一: 如何在指定站点内搜索关键字: 指定站点内解决:在关键字后 +site: 站点这对于爬取指定网站的信息具有重要意义:https://cn.bing.com/search?q=...原创 2019-05-25 17:39:14 · 449 阅读 · 0 评论