自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Zookeeper单机以及集群的使用

1.1 Zookeeper介绍 Zookeeper是分布式应用程序的协调服务框架,是Hadoop的重要组件。ZK要解决的问题: 1.分布式环境下的数据一致性。 2.分布式环境下的统一命名服务 3.分布式环境下的配置管理 4.分布式环境下的分布式锁 单台机器使用的锁:同步代码块、重入锁。...

2019-05-06 09:31:27 98 0

原创 idm 使用本地hosts 破解步骤

第一步 进入电脑etc文件夹下 C:\WINDOWS\system32\drivers\etc 第二步 修改hosts,添加如下: 127.0.0.1 registeridm.com 127.0.0.1 www.registeridm.com 127.0.0.1 ...

2019-04-21 02:54:13 3262 0

原创 基于SpringBoot 2.0的spring cloud : 网关Zuul

总的pom如下: pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4....

2018-12-14 17:10:28 1008 0

原创 springboot配置https

# springboot配置https HTTP与 HTTPS区别      首先,来简单了解一下 HTTP 与 HTTPS 吧。     超文本传输协议 HTTP 协议被用于在 Web 浏览器和网站服务器之间传递数据。HTTP 协议是以明文方式发送数据,不提供任何方式的数据加密,如果攻击者截取...

2018-11-22 17:14:33 283 0

原创 Jeesite导出Excel源码解析

转载自https://www.aliyun.com/jiaocheng/1340693.html 导入导出的公共工具 /**   * Copyright © 2012-2013 <a href="https://github.com/think...

2018-10-30 10:04:30 328 0

原创 pip的多版本安装以及pip多版本软件安装

pip多版本安装 下载pip->解压->进入文件夹 python27 setup.py install 进入Scripts文件->pip重命名pip27 python35 setup.py install 进入Scripts文件->pip重命...

2018-10-15 09:53:29 405 0

原创 springboot-文件下载

文件下载 @Log("文件下载") @RequestMapping(value = "download", method = RequestMethod.GET) public String download(HttpServletResponse re...

2018-09-25 12:35:59 187 0

原创 通过文件url,实现文件下载

通过url实现文件下载 @Log("下载文件") @ResponseBody @RequestMapping(value = "/download", method = RequestMethod.GET) public R Download(HttpS...

2018-09-25 11:28:41 3304 0

原创 springboot整合redis,由无密码配置更改为有密码配置

springboot整合redis,由无密码配置更改为有密码配置: springboot版本: <parent> <groupId>org.springframework.boot</groupId> ...

2018-09-20 14:54:32 10481 1

原创 Mysql查询数据时,自动为结果编上序号

说明: select @变量名 是定义变量名的方式 select @i:=1     在开始是定义一个变量i,并且递增, 使用select语句对用户变量进行赋值时,只能使用”:=”方式 每次执行查询语句获取结果后需要重置为0,在表名后用逗号分格下使用 (SELECT @i:=0) as i...

2018-08-02 13:32:33 7704 0

转载 linux下的docker安装

1.在vm中装好好centos后,更新内核  运行docker需要内核版本为3.8或者更高的版本,内核必须支持一种合适的存储驱动(Drivice Mapper、AUFS、vfs、btrfs、ZFS),默认存储驱动为Drivice Mapper或AUFS且内核必须开启cgroup和namespce功...

2018-07-03 10:56:32 95 0

转载 Windows下载安装docker详细步骤

Windows下载安装docker详细步骤2017年08月21日 09:34:09阅读数:28821.Docker溯源  Docker的前身是名为dotCloud的小公司,主要提供的是基于 PaaS(Platform as a Service,平台及服务)平台为开发者或开发商提供技术服务,并提供的...

2018-07-03 10:37:44 538 1

转载 windows下安装docker详细步骤

1.Docker溯源  Docker的前身是名为dotCloud的小公司,主要提供的是基于 PaaS(Platform as a Service,平台及服务)平台为开发者或开发商提供技术服务,并提供的开发工具和技术框架。因为其为初创的公司,又生于IT行业,dotCloud受到了IBM,亚马逊,go...

2018-07-03 10:35:15 44431 12

原创 python2.7简单识别图片验证码

环境:windows7,python2.7,pip需要安装:pillow,pytesser ,Tesseract,tesseract-ocrpillow的安装 pip install pillowTesseract的安装 pip install Tesseractpytesser的安装: http...

2018-06-07 09:24:09 406 0

转载 centos 下yum安装pip

centos下安装pip时失败:[root@wfm ~]# yum -y install pipLoaded plugins: fastestmirror, refresh-packagekit, securityLoading mirror speeds from cached hostfile...

2018-05-28 16:37:26 220 0

转载 使用Sqoop将数据在HDFS与MySQL互导

1.去官网下载sqoop,直接百度即可2.解压后进入conf目录[plain] view plain copyguo@drguo1:/opt/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf$ cp sqoop-env-template.sh sqoop-env.s...

2018-05-28 10:31:39 212 0

转载 Sqoop-1.4.6安装配置及Mysql->HDFS->Hive数据导入(基于Hadoop2.7.3)

阅读数:1434写在前面本博客基于的环境如下: OS版本: Ubuntu16.04 Hadoop版本: Hadoop-2.7.3 Hbase版本: Hbase-1.3.1 Hive版本: Hive-2.1.1 Pig版本: Pig-0.16.0 Zookeeper版本: Zookeeper-3.4...

2018-05-28 10:26:49 390 0

转载 Sqoop-1.4.6安装配置及Mysql->HDFS->Hive数据导入(基于Hadoop2.7.3)

写在前面本博客基于的环境如下: OS版本: Ubuntu16.04 Hadoop版本: Hadoop-2.7.3 Hbase版本: Hbase-1.3.1 Hive版本: Hive-2.1.1 Pig版本: Pig-0.16.0 Zookeeper版本: Zookeeper-3.4.9 Sqoop...

2018-05-25 18:22:01 104 0

转载 Windows下使用Hadoop2.6.0-eclipse-plugin插件

摘要: 经历过痛苦的过程,在windows下终于可以使用eclipse的hadoop2.6.0插件进行远程调试Mapreduce了,本文大部分内容是摘自其余的博客,但是后续也有补充完整自己在整个过程中遇到的其余问题,希望本文能够比较完善的解决hadoop2.6.0在eclipse运行的问题。本人没...

2018-05-25 14:42:34 1305 0

转载 windows远程调试hadoop权限问题

阅读数:2376为了开发方便想要直接在windows下开发,遇到了访问权限的问题。于是搜索了下解决方案,大约有两种1 不检查用户权限 修改conf/core-site.xml,不检查权限 将 dfs.permissions属性修改为false这种办法过于粗暴,仅仅开发环境可以使用。说以需要采用别的...

2018-05-24 08:54:12 177 0

原创 HIVE

一、HIVE是什么 开发调试麻烦 只能用java开发  需要对hadoop的底层及api比较了解才能开发复杂代码 HQL Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点...

2018-05-07 07:29:38 87 0

原创 HBASE

HBASE一、HBASE概述 (1)概述 基于hadoop的数据库工具  来源于google的一片论文BigTable 后来由Apache做了开源实现 就是HBase 是一种 NoSQL 非关系型的数据库 不符合关系型数据库的范式  适合存储 半结构化 非结构化 的数据  适合存储 稀疏...

2018-05-07 07:26:36 82 0

原创 实时分析

实时分析 1.kafka中创建主题 2.storm从kafka中消费数据 storm提供了storm从kafka消费数据的jar包 storm开发包 kafka开发包 storm连接kafka的开发包 其他包 **注意可能要删除重复的log4j相关的包 导入相关jar包...

2018-05-07 07:23:57 964 0

原创 离线数据分析

离线数据分析 1.hive创建外部分区表管理数据 hdfs有数据了 在hive中创建外部表来关联数据 进行数据的清洗 处理 在hive中创建外部分区表 管理数据 EXTERNAL 关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATION),Hive 创建内部...

2018-05-07 07:16:43 711 0

原创 flume收集日志

flume收集日志 #flume测试代码 #配置Agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #配置source a1.sources.r1.type = avro a1.sources.r1.bind = 0.0.0.0 ...

2018-05-07 07:14:59 125 0

原创 日志服务器应用开发

日志服务器应用开发 在日志服务器中整理日志信息 利用Log4j输出 方式1: 日志服务器将日志生成到文件中  flume来获取文件中的日志信息 优点: 数据先落地一次 所以即使出现意外情况 仍然可以从文件中恢复之前的日志 缺点: 数据落地 扫描都需要时间 对实时性有一定影响 坑:...

2018-05-07 07:14:01 191 0

原创 埋点

埋点 1.埋点概述 所谓埋点就是在应用服务器中的每一个页面中都嵌入一段js脚本 使用户在访问页面时 自动触发js 收集用户访问行为日志 并提交到日志服务器。 2.js脚本编写 pv 点击量 - 一次请求就是一个pv - 只需要在日志服务器中记录访问次数 就是pv的值 并不需要在js中获取额...

2018-05-07 07:12:44 3972 0

转载 python flask 如何读取数据库数据并返回到html

文件结构目录如下app.pyfrom flask import Flask from flask import render_template from flask_bootstrap import Bootstrap import pymysql app = Flask(__name__) bo...

2018-05-07 06:46:09 19537 2

原创 PostgreSQL-10.1 linux安装配置

卸载旧版本rpm -qa | grep postgres    检查PostgreSQL 是否已经安装rpm -qal | grep postgres   检查PostgreSQL 安装位置rpm -e 卸载下载地址:http://www.postgresql.org/download/linux...

2018-05-04 15:29:39 419 0

转载 【安装】REDIS-4.0.0 on CentOS 6.8

1、获取redis-4.0.0源代码[thomaschen@localhost Downloads]$ curl -o redis-4.0.0.tar.gz http://download.redis.io/releases/redis-4.0.0.tar.gz2、解压源代码[thomaschen...

2018-05-04 12:44:59 53 0

转载 redis.conf参数配置说明

参数说明redis.conf 配置项说明如下:1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程  daemonize no2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指...

2018-05-04 12:40:30 47 0

转载 CBoard

此文根据CBoard官方文档整理原文地址:https://github.com/yzhang921/CBoard/wiki/%E4%B8%AD%E6%96%87%E6%96%87%E6%A1%A3系统需求请确认您的安装环境JDK version above 1.8MySQL(注意:如果为8.0版本...

2018-05-04 12:38:48 2343 1

转载 python2.7.10安装配置

因工作需要使用python 2.7版本,而Centos自带的是python2.6.6。所以得安装python2.7-------------本来打算使得pyenv,可是公司网络不给力总下载不了,15M的东西都下载不了。。。。不说,,,已跪!!!===========================...

2018-05-04 12:38:16 2082 0

转载 linux下的npm安装

curl --silent --location https://rpm.nodesource.com/setup_10.x | bash - yum install -y nodejs npm install -g cnpm --registry=https://registry.npm.tao...

2018-05-04 09:47:55 1948 0

转载 yum下的redis安装

 1、yum install redis      --查看是否有redis   yum 源 2、yum install epel-release    --下载fedora的epel仓库 3、 yum install redis    -- 安装redis数据库 4、service redis ...

2018-05-04 09:46:54 80 0

转载 Xshell编码设置的问题

阅读数:6420今天用Xshell链接linux时,中文乱码,以前设置过一次编码,这次突然又忘了,所以这次索性记录下来,方便自己也方便大家!

2018-05-03 16:30:59 774 0

转载 yum失效解决

yum损坏解决今天笔者在Centos 6.3上使用yum安装lsof软件时,报如下错误:[root@5201351 ~]# yum install lsof -y rpmdb: unable to join the environment error: db3 error(11) from dbe...

2018-05-03 16:00:40 217 0

原创 项目无法install解决方法

2018-05-03 08:28:06 143 0

转载 Superset的安装及其汉化过程

一、安装过程参照官网步骤http://superset.incubator.apache.org/installation.html#1.      由于我使用的是 LinuxCentos7 ,是Fedora and RHEL-der的衍生品,所以在安装依赖时是:s...

2018-04-28 13:16:18 1609 0

转载 Superset vs Redash vs Metabase

关注度与活跃度看一个项目在 Github 上的星数,是评判一个项目成熟度最快速的方法。 那除了星数以外,项目的 Github 页面上还有什么重要信息呢?这里我建议大家去看一看项目的 Insights。 首先我们来看 Superset 最近一个月的活跃度这张图告诉我们以下几个信息这个项目最近一个月有...

2018-04-27 15:07:58 1407 1

提示
确定要删除当前文章?
取消 删除