自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 Kerberos身份验证流程

介绍: Kerberos 是一种由 MIT(麻省理工大学)提出的一种网络身份验证协议。它旨在通过使用密钥加密技术为客户端/服务器应用程序提供强身份验证。 在 Kerberos 认证中,最主要的问题是如何证明「你是你」的问题,如当一个 Client 去访问 Server 服务器上的某服务时,Se...

2020-05-21 09:26:22 42 0

原创 Hadoop3.2.1环境下安装HBase

环境准备 Linux:CentOS Linux release 7.2.1511 (Core) # 使用 cat /etc/redhat-release 命令查看 JDK:jdk1.8.0_211 Hadoop:3.2.1 Zookeeper:3.4.14 HBase:1.4.13 安装...

2020-05-19 20:11:43 212 0

转载 hbase-pheonix安装和基本使用

1.下载对应版本,cdh目前还没有pheonix啊,使用社区版吧,切记版本要对应上。否则会出现,问题:如下, Call failed on IOException org.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop....

2020-05-19 19:54:59 51 0

转载 两步轻松实现MySQL数据库主从复制

最近在做性能优化的系列课程,其中MySQL数据优化部分用到了主从复制,在这里和大家分享下实现原理以及配置步骤。 概念 MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式,这样从节点不用一直访问主服务器来更新自己的数据,数据...

2020-05-19 09:07:39 87 0

转载 Intellij IDEA运行报Command line is too long解法

报错内容: Error running 'ServiceStarter': Command line is too long. Shorten command line for ServiceStarter or also for Application default co...

2020-05-18 15:39:00 67 0

原创 10分钟掌握Markdown

TOC 前言   写过博客或者github上面的文档的,应该知道Markdown语法的重要性,不知道的朋友们也别着急,一篇博客轻松搞定Markdown语法。话说这个语法超级简单,一看就会,不信你点进来看看。 快捷键 功能 快捷键 加粗 Ctrl + B 斜体 Ctrl + I ...

2020-05-16 15:31:17 69 0

转载 Docker管理容器

查看运行容器 docker ps 查看所有容器 docker ps -a 进入容器 其中字符串为容器ID: docker exec -it d27bd3008ad9 /bin/bash 停用全部运行中的容器: docker stop $(docker ps -q) 删除全...

2020-05-15 13:48:38 41 0

转载 启动docker时映射到宿主机时出现 /usr/bin/docker-current: Error response from daemon: driver failed……的解决方案

启动 docker 映射到宿主机时出现如下错误时: /usr/bin/docker-current: Error response from daemon: driver failed programming external connectivity on endpoint sc_mysql ...

2020-05-14 19:37:10 74 0

转载 No module named '_ctypes'

3.7版本需要一个新的包libffi-devel,安装此包之后再次进行编译安装即可。 yum install libffi-devel -y make install 若在安装前移除了/usr/bin下python的文件链接依赖,此时yum无法正常使用,需要自己下载相关软件包安装,为节省读者...

2020-05-14 11:09:04 42 0

转载 gerapy框架的安装使用

一,gerapy框架 Gerapy 是一款分布式爬虫管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发,Gerapy 可...

2020-05-14 09:35:15 73 0

转载 使用scrapyd 管理爬虫

scrapyd 是由scrapy 官方提供的爬虫管理工具,使用它我们可以非常方便地上传、控制爬虫并且查看运行日志。 参考官方文档:http://scrapyd.readthedocs.org/en/latest/api.html 使用scrapyd 和我们直接运行scrapy crawl my...

2020-05-13 16:11:35 57 0

转载 windows下的scrapyd-deploy无法运行的解决办法

在python目录的Scripts目录下,能找到一个scrapy-deploy的文件,但是无法运行。下面来讲解决办法: 1.进到D:/python/Scripts 目录下,创建两个新文件: scrapy.bat 文件 scrapyd-deploy.bat 文件 2. 编辑两个文件: scr...

2020-05-13 14:49:04 27 0

转载 Windows安装curl及基本命令

什么是curl命令? curl是利用URL语法在命令行方式下工作的开源文件传输工具。被广泛应用在Unix、多种Linux发行版本中,并且有DOS和win32、win64下的移植版本。 在Windows下使用curl命令 安装 1:进入curl官网下载合适的版本,我这里下载的是Windows...

2020-05-13 13:38:11 73 0

转载 git 出现 fatal: refusing to merge unrelated histories 错误

git pull 失败 ,提示:fatal: refusing tomergeunrelated histories 其实这个问题是因为 两个 根本不相干的 git 库, 一个是本地库, 一个是远端库, 然后本地要去推送到远端, 远端觉得这个本地库跟自己不相干, 所以告知无法合并。 有两种方法...

2020-05-12 15:25:58 52 0

转载 Spring IO Platform:解决依赖版本冲突

版本冲突现状 在使用Spring的时候,经常会使用到第三方库,一般大家都是根据经验挑选一个版本号或挑选最新的,随意性较大,其实这是有问题的,除非做过完整的测试,保证集成该版本的依赖不会出现问题,且后续集成其它第三方库的时候也不会出现问题,否则风险较大,且后续扩展会越来越困难,因为随着业务复杂度的...

2020-05-11 09:24:24 111 0

原创 CentOS7下Nginx的安装与配置

Nginx("engine x")是一个高性能的HTTP和反向代理web服务器,同时也可以作为 IMAP/POP3/SMTP的代理服务器来使用。 Nginx安装 下载安装包 Nginx官网下载网址:http://nginx.org/en/download.html ,如图...

2020-05-06 19:36:32 52 0

转载 禅道admin忘记密码

/opt/zbox/run/mysql/mysql -uroot -p 禅道数据库root默认密码123456 MariaDB [(none)]> show databases; +--------------------+ | Database | +------...

2020-05-06 15:32:39 43 0

转载 效率神器----QuickLook

QuickLook:像 macOS 通过空格键快速查看文件内容。可以快速查看文件夹信息;快速预览图片、音视频、压缩文件; 甚至是文档、表格、演示文稿文件或是 PDF 文件。 一、功能举例 (1)文件夹 可以查看最后修改的时间以及包含文件数和大小等 (2)图片 可以打开 jp...

2020-04-29 18:56:41 90 0

转载 效率神器----WOX

想必用过mac的人都会知道一款效率神器Alfred,可快速启动、计算、查找等,使用起来非常的方便。Win上面也有类似的效率神器,比如Listary和WOX。 今天介绍的神器是WOX,这个真的算是每天必用的一款软件。用起来非常的舒服,得心应手! 点击下载以后,会跳转到GitHub,找到对应的文件...

2020-04-29 18:24:04 92 0

转载 解决github图片不显示问题

今天在github上查阅资料,但是页面的图片不显示 解决方法,打开路径C:\Windows\System32\drivers\etc下的hosts文件 在最后加上 # GitHub Start 192.30.253.112 github.com 192.30.253.119 gist....

2020-04-29 17:50:05 195 0

转载 使用PicGo快速搭建图床

PicGo是一个用于快速上传图片并获取图片URL链接的工具,目前支持七牛云,腾讯云COS,又拍云,GitHub,阿里云OSS,imgur 等多种常用图床,功能强大,简单易用。 通过这个教程,你将学会如何通过 github 和 picgo 搭建一个属于自己的在线云端相册,超级简单,绝对实用。 一...

2020-04-29 17:34:35 99 0

转载 python如何更改pip源

python默认的pip源在国外,如果下载比较大的第三方库时可能会非常非常慢,甚至会报错,所以为了有一个更加友好的python使用体验,建议为python的pip换一下源。 命令行加参数的方法 # 用默认源下载 pip install库名==版本 # 使用特定源下载 pipinstall...

2020-04-27 19:25:15 77 0

原创 Windows下安装MYSQL 8.0.19
原力计划

(1)下载安装包文件。 官网地址:https://dev.mysql.com/downloads/mysql/ 选择下载mysql-8.0.19-winx64.zip。 (2)解压文件到安装目录 我的安装目录是“D:\Program Files\mysql-8.0.19-winx64”...

2020-04-26 13:07:26 111 3

转载 MySQL配置参数大全

名称 是否需要重启 值 允许值 描述 auto_increment_increment 否 1 1~65,535 auto_increment_increment和auto_increment_offset 用于master-to-master的...

2020-04-26 11:19:27 88 0

转载 理解OAuth 2.0

OAuth是一个关于授权(authorization)的开放网络标准,在全世界得到广泛应用,目前的版本是2.0版。 本文对OAuth 2.0的设计思路和运行流程,做一个简明通俗的解释,主要参考材料为RFC 6749。 更新:我后来又写了一组三篇的《OAuth 2.0 教程》,更加通俗,并带...

2020-04-24 16:48:25 77 0

转载 GitHub OAuth 第三方登录示例教程

这组 OAuth 系列教程,第一篇介绍了基本概念,第二篇介绍了获取令牌的四种方式,今天演示一个实例,如何通过 OAuth 获取 API 数据。 很多网站登录时,允许使用第三方网站的身份,这称为"第三方登录"。 下面就以 GitHub 为例,写一个最简单的应用,演示第三方...

2020-04-24 15:19:42 98 0

转载 OAuth 2.0 的四种方式

上一篇文章介绍了 OAuth 2.0 是一种授权机制,主要用来颁发令牌(token)。本文接着介绍颁发令牌的实务操作。 下面我假定,你已经理解了 OAuth 2.0 的含义和设计思想,否则请先阅读这个系列的上一篇文章。 RFC 6749 OAuth 2.0 的标准是RFC 6749文件。...

2020-04-24 14:58:49 68 0

转载 OAuth 2.0 的一个简单解释

OAuth 2.0 是目前最流行的授权机制,用来授权第三方应用,获取用户数据。 这个标准比较抽象,使用了很多术语,初学者不容易理解。其实说起来并不复杂,下面我就通过一个简单的类比,帮助大家轻松理解,OAuth 2.0 到底是什么。 一、快递员问题 我住在一个大型的居民小区。 小区有门禁...

2020-04-24 14:47:02 61 0

转载 Cookie的使用(js-cookie插件)

js-cookie 官方文档 里面就详细的介绍了es5怎么引用,以下是ES6以上的用户。 一、安装 npm install js-cookie --save 二、引用 import Cookies from 'js-cookie' 三、一般使用 存到Coo...

2020-04-22 17:02:58 65 0

转载 dependencies与dependencyManagement的区别

DepencyManagement应用场景 当一个项目包含的模块很多的时候,由于模块太多,为了确保这些模块中相同依赖项的版本一致,我们通常会抽象出一个parent层来管理这些模块公共的依赖项。 例如下面这个应用的 pom 继承关系图: Itoo-base-parent(pom.xml) ...

2020-04-21 15:49:26 58 0

转载 良心推荐,我珍藏的一些Chrome插件

上次搬家的时候,发了一个朋友圈,附带的照片中不小心暴露了自己的 Chrome 浏览器插件之多,于是就有小伙伴评论说分享一下我觉得还不错的浏览器插件。 我下面就把我日常工作和学习中经常用到的一些 Chrome 浏览器插件分享给大家,随便一个都能提高你的“生活品质”和工作效率。 Markdow...

2020-04-18 14:58:41 129 0

转载 数据可视化-Seaborn画图原来这么好看

matplotlib是python最常见的绘图包,强大之处不言而喻。然而在数据科学领域,可视化库-Seaborn也是重量级的存在。 由于matplotlib比较底层,想要绘制漂亮的图非常麻烦,需要写大量的代码。 Seaborn是在matplotlib基础上进行了高级API封装,图表装饰更加容易...

2020-04-18 14:48:01 97 0

转载 Jenkins历史版本下载

http://mirrors.jenkins.io/ Binaries debian osx opensuse redhat war windows Releases debian osx opensuse redhat ...

2020-04-17 16:42:35 67 0

原创 virtualenv简明教程

virtualenv简介 在开发Python应用程序的时候,我们的系统上通常只会安装一个Python版本:例如 3.7。所有使用 pip 安装的第三方包都会被安装到Python的site-packages目录下。如果我们同时开发多个应用程序,而这些应用程序需要使用的某一个第三方包的版本各不不同,...

2020-04-15 12:49:06 90 0

转载 使用 mitmproxy + python 做拦截代理

目录 mitmproxy 是什么 安装 运行 脚本 事件 1. 针对 HTTP 生命周期 2. 针对 TCP 生命周期 3. 针对 Websocket 生命周期 4. 针对网络连接生命周期 5. 通用生命周期 示例 最后 原文地址:https://blog.wolfogr...

2020-04-14 18:15:58 27126 0

原创 IDEA本地调试Map-Reduce程序
原力计划

环境准备 安装Hadoop 访问 Hadoop官网 ,下载Hadoop到Windows本地 ,本例中下载的是 hadoop-3.0.0.tar.gz 。 将 Hadoop 解压到合适的目录,并设置环境变量: HADOOP_HOME=C:\DevTolls\hadoop-3.0.0 并在...

2020-04-13 19:00:34 88 0

转载 Apache开源列式存储引擎Parquet和ORC比较

相比传统的行式存储引擎,列式存储引擎具有更高的压缩比,更少的IO操作而备受青睐(注:列式存储不是万能高效的,很多场景下行式存储仍更加高效),尤其是在数据列(column)数很多,但每次操作仅针对若干列的情景,列式存储引擎的性价比更高。在互联网大数据应用场景下,大部分情况下,数据量很大且数据字段数目...

2020-04-09 09:36:23 82 0

原创 Scala简明教程

Scala简介 Scala(Scalable Language)是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala特性 面向对象 Scala是一种纯面向对象的语言。 函数式编程 Scala也是一种函数式语言,其函数也...

2020-04-05 11:58:22 78 0

转载 推荐系统介绍

当下,个性化推荐成了互联网产品的标配。但是,人们对推荐该如何来做,也就是推荐技术本身,还不甚了解。为此,好学的你肯定在收藏着朋友圈里流传的相关文章,转发着微博上的相关讨论话题,甚至还会不断奔走在各种大小行业会议之间,听着大厂职工们讲那些干货。我知道,这样碎片化的吸收,增加了知识的同时,也增加了焦虑...

2020-04-03 09:15:52 254 0

转载 Flink 原理与实现:Window 机制

Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制,这是我认为的 Flink 最大的亮点之一(其他...

2020-03-31 15:09:58 65 0

提示
确定要删除当前文章?
取消 删除