自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 centos7 升级gcc-8.2

关于daal的工作:检查环境:安装gcc、g++安装命令:yum install gcc yum install gcc-c++gcc 版本使用8.2 如果不匹配 需要进行更新:先去官网 http://ftp.tsukuba.wide.ad.jp/software/gcc/releases/ 下载对应的gcc压缩包然后解压并进入目录下:下载依赖包,如果下...

2019-10-22 20:41:39 233

原创 win 安装mysq-python出错的其他安装方式

在windows的命令行中输入:pip install mysql-python出现问题如下:_mysql.c(42) : fatal error C1083: Cannot open include file: 'config-win.h': No such file or directory缺少或者不存在config-win.h文件。介绍一种其它的安装方式。首先下载安...

2019-03-21 16:20:45 192

原创 Ubuntu 17 安装scrapy爬虫

Ubuntu 17 安装scrapy爬虫  第一步 安装pip:输入:sudo apt-get install python-pip 第二步  再执行:输入:sudo apt-get install python-dev 第三步 安装Scrapy :输入:pip install Scrapy -i https://pypi.mirrors.ustc.edu.cn/sim...

2018-09-06 12:24:04 876 1

原创 jupyter notebook 写代码自动补全

操作步骤 进入命令行环境。我使用的是conda。有两种方式进入命令行。 方法1:通过anconda navigator界面,选择environments,选择对应环境名,选择open terminal 方法2:直接使用cmd或者terminal等终端进入命令行。激活你想要配置代码补全的环境(如果是默认环境不用激活) 1.安装nbextensions ...

2018-08-09 17:36:46 38217 19

转载 Visual Studio 2015 产品下载地址以及激活码

Visual Studio Community 2015 简体中文免费版镜像SHA1:1044F9F4E0EA1304AFECF6780BF599F1DA248DF8http://download.microsoft.com/download/B/4/8/B4870509-05CB-447C-878F-2F80E4CB464C/vs2015.com_chs.iso Visual S...

2018-08-08 10:26:28 321

原创 在Linux 中安装hive数据仓库

 hive正是实现了这个,hive是要类SQL语句(HiveQL)来实现对hadoop下的数据管理。hive属于数据仓库的范畴,那么,数据库和数据仓库到底有什么区别了,这里简单说明一下:数据库侧重于OLTP(在线事务处理),数据仓库侧重OLAP(在线分析处理);首先确定 已经安装好了hadoop集群!在linux安装mysql 在命令行输入:(如果下载速度很慢,可以更改下载源,详情...

2018-08-03 20:57:45 1080

原创 windows下使用anaconda prompt修改 jupyter notebook打开文件夹路径

修改配置文件里面的路径。anaconda promt下运行jupyter notebook --generate-config,会生成配置文件jupyter_notebook_config.py。可以看到文件生成的路径:打开文件,查找## The directory to use for notebooks and kernels. 这一行决定了启动目录。将c.NotebookApp....

2018-07-25 17:51:01 2260

转载 windows 的pip下载更换源地址

【国内镜像】中国科学技术大学 : https://pypi.mirrors.ustc.edu.cn/simple 清华:https://pypi.tuna.tsinghua.edu.cn/simple 豆瓣:http://pypi.douban.com/simple/ 华中理工大学 : http://pypi.hustunique.com/simple 山东理工大学 : http://...

2018-07-21 17:48:27 1721

转载 python对时间的操作

Python日期的加减等操作1. 日期输出格式化所有日期、时间的api都在datetime模块内。1. datetime => stringnow = datetime.datetime.now()now.strftime('%Y-%m-%d %H:%M:%S')#输出2012-03-05 16:26:23.870105strftime是datetime类的实例方法。2. string ...

2018-03-30 09:26:22 492

原创 同样局域网下的主机互相访问某主机下的虚拟机

 第一步:配置如下第二步:配置点击“编辑”->“虚拟网络编辑器”第三步:按顺序点击进入第四步:配置如下:第五部:要不关闭防火墙(不建议),要不修改入站策略:第六步:按顺序点击第七步:点击端口 输入端口号 保存即可。测试:主机ip:10.21.20.26           虚拟机ip:192.168.71.128           局域网内主机ip:10.21.20.66成功显示!...

2018-03-19 12:39:55 322

原创 intellij IDE Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

出现该原因是因为内存不够用了,所以需要 修改java vm 的内存;打开intellij IDE 的 Run 选项2.然后再选择edit configuration 进入到vm options

2017-12-26 16:43:26 1012

原创 关于安装scrapy-redis分布式常见问题

直接运行其实免Python 安装  使用命令pip install ***sudo pip install scrapysudo pip install scrapy-redissudo apt-get install redis-serversudo vi /etc/redis/redis.conf  配置文件下的bind 127.0.0.1,

2017-11-29 22:48:09 691

原创 Exception in thread "main" java.lang.SecurityException问题解决方法

提交运行spark程序,出现如下 错误::hadoop@master:/usr/local/hadoop/spark/spark-data$ spark-submit --master spark:192.168.71.128:7077 --class PageRank project.jar Exception in thread "main" java.lang

2017-10-24 22:38:39 1391

原创 Error:scalac: missing or invalid dependency detected while loading class file 'RDD.class'.问题

使用intelig 运行spark程序出现Error:scalac: missing or invalid dependency detected while loading class file 'RDD.class'. Could not access term hadoop in package org.apache, because it (or its dependencies) a

2017-10-24 22:23:22 883

原创 Ubuntu突然连接不上网

好早之前安装的Ubuntu,运行过大量程序,有一天突然连接不上网络,之前的网络配置还在那里。 去本地电脑找到服务,发现原来是vmware Nat service 被关掉了,无语,浪费我好多时间!!!!  (所以写个备忘录) --正确设置vmware的共享文件夹后  在/mnt目录下找不到共享文件(缺少vmware tool)...

2017-10-24 17:12:27 3025

原创 linux分布式scrapy爬虫之安装scrapy-redis

安装完redis后,进入到redis目录下输入redis-cli 会有提示安装 sudo apt-get install redis-tools再输入:redis-server /etc/redis.conf 会有提示安装:sudo apt-get install redis-server测试:输入:hadoop@slave1:~/.local/li

2017-10-23 16:24:36 1078

原创 Ubuntu下搭建spark集群开发环境

之前在windows下搭建了一个spark的开发环境,但是后来发现如果想要搞spark streaming的例子的话在Linux下使用更方便,于是在Ubuntu下面搭建一下spark开发环境,记录以做备忘之用。1 .首先去spark官网下载相关软件,我这里用的是spark2.1.0版本http://spark.apache.org/downloads.html,对应的hadoop版本是2.7.

2017-10-23 12:10:24 766

原创 hadoop-2.7.4完全分布式集群部署 外加测试例子mapreduce

更改系统时区(将时间同步更改为北京时间)xiaolei@hadoop1:~$ dateWed Oct 26 02:42:08 PDT 2017xiaolei@hadoop1:~$ sudo tzselect根据提示选择Asia China Beijing Time yes最后将Asia/Shanghai shell scripts 复制到/etc/localtimexiaolei@h...

2017-09-01 13:20:04 418

原创 securecrt 上传文件出现 *** was skipped 问题

当上使用securecrt上传文件时,出现** was skipped 就是没有上传成功,因为权限不够。解决办法:前面加 sudo,就可以了,即:sudo rz //注意只要不是root的用户,一般的用户执行命令钱通常需要加 "sudo"

2017-08-29 17:19:36 4261

原创 Ubuntu 17.04更换源

更换Ubuntu 有两种方法,一种是直接在命令行更换,还有一种是在Ubuntu 界面中更换。第一种命令行更换:输入:sudo /etc/apt/sources.list /etc/apt/sources.list.bak //备份原来的源阿里云的源:替换为阿里云的源:

2017-08-29 16:25:13 7618

原创 使用lrzsz工具和 bec-cli工具在百度云下载数据

BCE-CLI-0.10.3工具安装:安装该工具,前提是必须已经安装Python(安装过程请参考,之前的“Django安装与连接数据库”文件)。BCE-CLI 工具下载链接:https://cloud.baidu.com/doc/Downloadcenter/CLI.html (选择Linux版本)。将下载好的bce-cli 工具上传到服务器。

2017-08-18 15:46:48 364

原创 elk测试 例子

过程:在logstash命令行输入,将内容发个elasticsearch,可以看到elk有个自带的logstash 的index pattern,直接使用这个,在kibana中创建,然后再在kibana中可视化出来。[注:elasticsearch必须先启动,之后才启动logstash和kibana]1、 首先在logstash新建一个文件夹config,将写好的write_t

2017-08-18 15:43:05 565

原创 使用log4j(和spring boot logback很相似)向logstash发送数据

Log4j 主要由三部分组成:loggers:负责采集日志信息。appenders:负责将日志信息发布到不同地方。layouts:负责以各种风格格式化日志信息。首先编写一个java程序: 使用log4j(和spring boot logback很相似)向logstash发送数据 > image2017-7-27_17-54-38.png" alt="" style="mar

2017-08-18 15:10:32 1048

原创 安装Python_Django

安装jdk:mkdir /usr/local/java       --新建文件夹 2. cp jdk-7u75-linux-x64.tar.gz /usr/local/java  --复制文件夹到新建目录-------------------------------------------------------------------------

2017-08-18 14:59:23 262

原创 ELK-5.4.1和x-pack权限控制 安装指导

安装jdk下载jdk-1.8,下载后解压到/usr/local/java文件夹下配置环境变量,在/etc/profile,写入如下:输入完成后 source /etc/profile使得修改文件生效。(如果jdk是rpm,则使用rpm安装,输入:rpm -ivh install jdk1.8.0_131.rpm)JAVA_HOME=/usr/local/ja

2017-08-18 11:31:33 444

提示
确定要删除当前文章?
取消 删除