- 博客(75)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 大数据学习——学习教程
一、大数据环境搭建1. 安装VMware虚拟机：https://blog.csdn.net/qq_15903671/article/details/848740802. VMware下安装Ubuntu：https://blog.csdn.net/qq_15903671/article/details/848742693. 安装VMware Tools ：https://blog.csd...
2018-12-19 11:24:36
286
原创 springCloud框架学习教程
win10 64位操作系统下针对springCloud框架的学习资料一、搭建基本的JAVA开发环境1. jdk1.8环境，参考教程：https://blog.csdn.net/qq_15903671/article/details/817022842. maven开发工具，参考教程：https://blog.csdn.net/qq_15903671/article/details/817...
2018-08-16 13:44:30
372
2
原创 windows环境使用gitbash配置ssh免密登录密钥
Windows配置ssh免密登陆Git本地安装完成后，启动gitBash，检查 ~ 路径下是否有.ssh 文件夹，如果没有往下操作。创建.ssh文件夹创建公私秘钥对找到并拷贝生成的私钥到.ssh路径下将公钥补充到需要免密登陆的服务器上。...
2021-01-27 16:26:19
1028
原创 java开发——idea下运行vue工程
以下教程将从头完成idea开发工具运行vue项目的全过程一、准备工作：1.1 idea下载安装：https://blog.csdn.net/qq_15903671/article/details/817392951.2 node.js下载安装：https://blog.csdn.net/qq_15903671/article/details/820520351.3 npm 下载安装...
2020-04-15 17:01:04
2231
1
原创 大数据学习——java调用spark常用接口函数
一、准备：1.1 引入依赖包： <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <...
2019-07-22 14:58:45
1254
原创 大数据学习——java调用spark学习测试
spark是一种计算框架，如果只是想学习，完全可以脱离hadoop而独立运行，当然这样就没法使用hdfs进行数据存储。windows环境下，使用java语言添加spark依赖包就可以直接使用spark了。一、maven添加spark依赖：这个jar包还是挺大的，下载需要点时间。二、随便写个map操作import org.apache.commons.lang3.Strin...
2019-07-22 13:19:48
684
原创 大数据学习——win环境下spark安装教程
spark是性能远超过hadoop的MapReduce的计算框架，它依赖于hadoop和分布式硬件环境。但是学习spark和测试一些简单的功能函数时，分布式环境是一个较高的门槛，对hadoop的依赖也使得习惯于windows开发环境的程序员十分苦恼。以下博文将在windows环境下安装spark。一、环境准备安装jdk：https://blog.csdn.net/qq_15903671...
2019-07-22 11:20:21
223
原创 大数据学习——win环境下hadoop安装教程
程序开发往往在win环境下完成，对于需要linux环境的技术栈学习往往借助于虚拟机。但是在学习和测试hadoop生态技术组件时，这东西是真的很吃内存，本地安装的虚拟机很难提供足够的资源让hadoop平稳运行。以下记录在windows下安装hadoop的过程。hadoop在windows下运行需要对bin和etc路径下的可执行文件和配置文件进行调整，来兼容win运行环境。下载一个合适的兼...
2019-07-19 14:01:11
486
原创 大数据学习——scala安装
下载地址：https://www.scala-lang.org/download/all.html百度网盘备份：链接：https://pan.baidu.com/s/1nUokYR1qcfctnBAcDYBh9A 提取码：hnhz双击运行 scala-***.msi文件添加系统环境变量修改path环境变量，添加 %SCALA_HOME%\bin...
2019-07-19 09:57:45
146
原创 软件工具——MindMaster思维导图
以下包括MindMaster下载安装截图一、下载：https://www.edrawsoft.cn/download/mindmaster/二、安装：安装完成。
2019-07-15 15:13:45
1081
1
原创 大数据学习——金融行业大数据基于ETL过程的数据质量管理方法论
金融行业大数据基于ETL过程的数据质量管理方法论ETL是什么：ETL——Extraction（抽取）+Trasformation（转换）+Loading(加载)大数据平台的ETL过程抽象：数据源特征：数据源集中于成熟系统落地的高质量数据+标准格式的数据文件（用于数据集市）。 互联网金融额外拥有基于用户行为的日志型数据（主要用于客户画像和风险识别） 大数据平台各组件...
2019-07-05 16:25:10
2939
原创 软件工具——RSA的PKCS1（python）秘钥转成PKCS8（java）
在做RSA加密解密时，python程序生成和使用的公钥私钥文件是pkcs1标准的，java程序生成和使用的公钥私钥文件是pkcs8标准的，这就导致python程序写的加密解密程序，其公钥私钥发给java写的加密解密程序去进行RSA加密解密操作是不行的。好在pkcs1和pkcs8标准的秘钥文件有明显的区别，程序运行时会抛出明确的异常信息，提示秘钥标准不对。那么，如何将python程序生成的公钥私...
2019-07-04 16:09:29
3610
原创 软件工具——pycharm打包python程序
打开pycharm工具 写个简单的python文件点击左下角的 Terinal输入打包指令 pyinstaller -F -w TestMain.py ，第一次使用可能由于环境变量问题或压根没安装pyinstaller的原因而失败。pyinstaller指令需要在环境变量里添加 python安装地址\Scripts修改path如果还是没有pyinstalle...
2019-07-03 11:34:24
12745
原创 软件工具——python开发环境安装（windows下）
需要安装python的windows包，pycharm开发工具官网下载：https://www.python.org/downloads/http://www.jetbrains.com/pycharm/download/#section=windows百度网盘备份：https://pan.baidu.com/s/1SF_iT4iQOX3TYli7J3s1bA 提取码：8r0k...
2019-07-03 10:52:18
291
原创 软件工具——windows下载安装curl工具调用http接口
教程包括：windows环境下载安装curl，bat批处理程序使用curl工具调用http-get接口下载地址：https://curl.haxx.se/windows/百度网盘备份：https://pan.baidu.com/s/1yHYon2DGaMZR90cFse32wQ提取码：6wm2windows的好处就是双击傻瓜式安装。以下为官网下载安装截图：选择合适的版本下...
2019-06-28 15:15:52
12545
原创 大数据学习——基于大数据平台的数据仓库ETL基本思路
大数据平台数据仓库ETL基本思路ETL工具开源工具：Sqoop：Hadoop（hive）和关系型数据库之间传输数据的开源ETL工具。Beeline：hive客户端工具，基于SQLline的JDBC客户端Azkaban：任务调度开源工具。自开发工具：脚本生成工具：jar包，基于系统调研时产生的表级调研文档，自动检索数据源并生成整体ETL工具中拥有较高规范的...
2019-06-26 15:16:24
3117
原创 linux学习——常用指令
一、系统资源监控top 查看系统资源使用情况free 查看内存使用情况df -h 查看磁盘挂载点( -h 给人看)du -sh ./* 查看当前路径下所有文件（及文件夹）大小（ -s 保留文件夹总量不向下遍历，-h 给人看 ）fdisk -l 查看分区scp指令远程拷贝文件 A设备ip AAAA.AAAA.AAAA.AAAA,用户user...
2019-04-12 15:32:26
127
原创 大数据学习——dataX源码重新打包+测试
dataX工具（可执行的资源包），源码的下载和部署请参考上一篇博文：https://blog.csdn.net/qq_15903671/article/details/88862619dataX工具包从官网下载之后可以发现他加压后有将近1G的大小。显然我们不希望一个ETL工具太大。以下的博文我将从dataX源码中保留oraclereader插件和hdfswrtier插件，重新对dataX进行打...
2019-03-29 10:19:14
3991
原创 软件工具——maven assembly插件辅助分环境打包
在maven打包时，可以利用assembly插件自定义生成包的结构。在打包的时候希望能够灵活的通过简单的参数将应用于不同环境下的配置文件打进包里。比如生成windows下运行的包和linux下运行的包，配置文件或脚本文件中但凡涉及到路径的地方都是不一样的，我们可能单独维护了windows和linux下的不同的配置文件及脚本文件，那么在打包的时候就希望能够将其中我们需要的一套文件打进包里了。当然...
2019-03-29 09:46:59
1106
原创 大数据学习——dataX工具部署和源码编译
为了做大数据项目数据抽取工作，开始学习dataX，尝试比较dataX（版本 3.0）与sqoop的功能与性能差异。以下教程包括：下载dataX工具及简要使用、下载dataX源码尝试编译及遇到的问题、尝试改造开源项目dataX一、下载dataX工具及简要使用gitHub下载（在下面的README里，Quick Start栏中）：https://github.com/alibaba/Dat...
2019-03-28 11:34:24
2864
1
原创 软件工具——win安装python
在使用阿里dataX工具的时候，由于整体框架使用python作为启动脚本，开发机windows操作系统，所以需要提前安装python。以下包括：python下载、安装、测试一、python 安装：百度网盘备份：链接：https://pan.baidu.com/s/1MTxX0IHO-tnSTwigHJC70Q 提取码：zfkp备注：2.6.X为dataX3.0开源版本推荐的py...
2019-03-25 14:03:14
490
原创 软件工具——java开发sftp客户端上传下载文件
上一篇博文：https://blog.csdn.net/qq_15903671/article/details/88681240部署了一个linux的sftp-server。客户端工具众多且不受操作系统限制，但是想灵活的制作文件上传下载流程、定时触发、文件解析转存等操作，客户端工具就可能由于功能不够完整而使用不便了。下面使用java语言做一个简单的sftp客户端操作工具来灵活的使用sftp...
2019-03-22 12:28:26
611
原创 软件工具——SFTP服务器、客户端安装及连接教程
FTP是一种文件传输协议，服务端和客户端可视化软件很多，只要支持相同的协议标准基本可以互相连通。SFTP相对于FTP在数据传输中添加了数据加密，以损失数据传输效率为代价提高数据传输安全性。但加密解密等操作均为CPU时间，相对于文件的IO传输时间性能损失的占比不大。以下使用linux服务器部署SFTP服务端，win10下安装XshellFTP客户端，进行FTP文件传输的测试。一、linu...
2019-03-20 17:03:26
23425
原创 软件工具——IDEA使用git版本控制工具
前面博文对git的使用做了简要教程，项目文档通过GIT GUI进行上传同步等操作需求已基本满足。下面对项目代码的版本控制进行学习。操作系统 win10 ，开发环境IDEA， 语言java， 版本控制工具Git。git使用相关教程：git客户端下载安装：https://blog.csdn.net/qq_15903671/article/details/87966916git bash 使...
2019-03-18 11:14:46
2482
原创 软件工具——GitGUI使用教程
公司使用GitLab作版本控制工具，开发使用git客户端链接到公司GitLab服务器进行代码和文档的提交和维护。Git客户端安装教程：https://blog.csdn.net/qq_15903671/article/details/87966916以下包括：GitGUI页面功能简介及克隆项目到本地、GitGUI增删改项目文件并提交、GitGUI与服务端同步一、GitGUI页面功能简介...
2019-02-27 13:19:48
22164
3
原创 软件工具——GitBash使用教程
公司使用GitLab作版本控制工具，开发使用git客户端链接到公司GitLab服务器进行代码和文档的提交和维护。Git客户端安装教程：https://blog.csdn.net/qq_15903671/article/details/87966916安装后打开gitBash配置SSH，配置用户名及邮箱ssh -keygen(生成ssh秘钥，关于ssh自行百度吧)git config...
2019-02-27 11:06:50
20787
4
原创 软件工具——Git下载安装
Git 下载安装下载地址：https://git-scm.com/download/win百度网盘备份：链接：https://pan.baidu.com/s/1Wfw1Mob7ueoFbBXzm1D77A 提取码：s6ae 1.1 官网下载截图网页打开后其实已经开始下载了，如果要切换下载版本可以点击链接。1.2 安装git：双击安装包进行安装 ...
2019-02-27 10:10:41
12848
3
原创 大数据学习——hbase安装使用教程
下载地址：http://archive.apache.org/dist/hbase/hbase-0.98.8/百度网盘备份：主要包括：hbase安装、hbase运行和检查、hbase基本操作一 、hbase安装1.1 下载解压上面有下载链接，下载好hbase***.tar.gz安装包后解压 tar -zxvf hbase***.tar.gz解压后使用mv命令将来...
2019-02-01 14:03:22
1978
2
原创 大数据学习——sqoop安装使用教程
由于hadoop启动即开始申请大量内存，笔记本安装VMware下的虚拟机很难满足配置要求，从sqoop开始切换到公司的linux CentOS环境上进行测试学习。以下包括：sqoop下载安装，sqoop连接关系型数据库，sqoop数据导入操作 一、sqoop下载安装1.1 sqoop下载官网地址：http://mirrors.hust.edu.cn/apache/sqoop/百...
2019-01-31 13:42:14
648
原创 软件工具——maven打包springCloud工程并引入本地jar包依赖
开发环境Win64/IDEA，语言java，框架SpringCloud，打包工具mavenjava项目开发使用maven做依赖版本控制已经非常流行了，我的开发环境是IDEA,SpringCloud工程使用maven的pom文件管理依赖jar包。功能开发完成后需要向服务器部署，那么需要将整个工程打成jar包。本文介绍使用maven工具进行打包，并将本地依赖的jar包一并打进去。主要包括：ma...
2019-01-24 13:15:26
4379
1
原创 大数据学习——帆软报表软件安装
百度网盘备份：链接：https://pan.baidu.com/s/1BW7jbZ1JAHa6dbwPxSlmjA 提取码：trbw 一、安装截图桌面图标启动动画
2019-01-23 15:16:56
594
原创 软件工具——tomcat下载安装
百度网盘备份：链接：https://pan.baidu.com/s/1boawn5UEJNj8m1SGgd1TOw 提取码：6obk tomcat 9 安装使用截图一、安装安装好后右下角会出现tomcat的图标，可以开启或关闭tomcat server浏览器输入：http://locaohost:8080 看到下图页面就说明tomcat安装完成了。...
2019-01-23 14:05:59
134
原创 大数据环境搭建（8）——linux赋予用户root权限
主要包括以下内容：创建用户分配到root组、设置用户密码、给用户root权限一、创建用户并分配root组指令： useradd -m -g root orcuser 创建orcuser用户到root组查看当前用户信息指令： id二、设置用户密码指令： passwd orcuser 密码输两遍三、给用户root权限 修改 /etc/sudoers ...
2019-01-04 09:25:13
445
原创 大数据学习——elastic search 安装使用教程
elastic search 全文搜索引擎，将文档以文本方式存储后在elastic search中可以方便快捷的进行全文检索。以下主要包括：1. linux下安装elastic search 2. elastic search基本操作3. 文档的全文检索应用一、安装elastic searchlinux联网下载： wget https://artifacts.elastic...
2018-12-21 13:15:11
689
原创 Hadoop（2）——Hadoop安装、配置、测试(伪分布式部署)
前面我们已经尝试了Hadoop的单机部署测试，下面在单节点上进行伪分布式的部署测试一、单节点部署参考我的博文：https://blog.csdn.net/qq_15903671/article/details/84950117 二、伪分布式部署所谓伪分布式是因为只有一个节点，但是完整的启动hadoop的HDFS deamon和YARN deamon。其中，HDFS deam...
2018-12-19 17:46:33
299
原创 Hadoop（1）——Hadoop安装、配置、测试(单机运行)
前面博文我尝试安装了VMware虚拟机和Ubuntu测试系统。下面开始安装大数据基础工具Hadoop。主要包括：安装SSH，安装jdk，安装Hadoop及单机部署测试，伪分布式部署测试，集群部署测试。关于SSH安装调试及集群间免密登陆参考我的博文：https://blog.csdn.net/qq_15903671/article/details/84964221关于JDK安装参考我...
2018-12-19 17:43:00
441
原创 大数据环境搭建（7）——固定ip地址
当我们需要在VMware-ubuntu虚拟机下进行集群测试时，ssh连接等操作需要知道每台节点的ip地址，这样我们需要将所有的虚拟机ip地址固定下来。测试环境：VMware14.1.2 、Ubuntu18.04.1 搭建大数据测试环境的完整过程参考我的博客https://blog.csdn.net/qq_15903671/article/details/85063248固定ip地址分为...
2018-12-19 13:08:09
447
原创 大数据环境搭建（4）——Ubuntu启用root用户
前面博文我已已经安装好Ubuntu操作系统看到图形界面了。但Ubuntu的默认登陆是使用安装时配置的普通用户，没有管理员权限，下面我们开始配置启动权限，分为四个步骤：1.启用root用户设置密码2.修改50-ubuntu.conf文件3.修改gdm-autologin和gdm-passwd文件4.修改/root/.profile文件一、启用root用户设置密码首先，新安装的...
2018-12-18 15:19:45
265
原创 大数据环境搭建（6）——Ubuntu安装JDK
JDK百度云备份:链接：https://pan.baidu.com/s/1ZyPg2Y1k8aDbtESwWPpOrA 提取码：ibwo 为控制jdk版本一致性，我的所有ubuntu虚拟机采用安装包手动的方式安装JDK如图，我是从Ubuntu1中将下载的jdk安装包拷贝了过来。一、 解压jdktar -zxvf jdk-8u191-linux-x64.tar.gz ...
2018-12-12 08:49:32
345
原创 大数据环境搭建（5）——Ubuntu安装SSH
前面博文已经安装了Ubuntu系统，启用了root用户，拿到了系统的管理员权限，基本的环境就算搭建好了。下面开始尝试配置SSH实现免密登陆。1. 主机名的查询和修改2.安装ssh+宿主机远程连接3. 本地用户免密登陆4. 异地用户免密登陆一、主机名的查询和修改配置ssh远程连接之前，至少知道服务器主机名和用户吧。输入 hostname 命令查看主机名修改 /et...
2018-12-12 08:48:47
820
IDEA快速搭建SpringCloud项目结构
2018-11-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人