- 博客(80)
- 收藏
- 关注
RSS订阅原创 vue el-upload form 同时提交
vue el-upload form 同时提交 项目需要form 表单和文件上传同时在一个请求,废话不多说上代码:上传的组件使用pug格式.row.my-4 .col-12 el-form(:model='domain', :rules='validateRules', v-loading='loading',...
2018-09-05 23:48:00
2131
原创 linux 环境统配
linux 环境统配 #javaJAVA_HOME=/opt/jdkCLASSPATH=$JAVA_HOME/lib/PATH=$PATH:$JAVA_HOME/binexport PATH JAVA_HOME CLASSPATH#nodeexport NODE_HOME=/opt/nodeexport PATH=$...
2018-09-02 19:51:00
110
原创 hbase单机版安装+phoneix SQL on hbase 单节点安装
hbase单机版安装+phoneix SQL on hbase 单节点安装 hbase 单机安装部署及phoneix 单机安装Hbase 下载 (需先配置jdk) https://www.apache.org/dyn/closer.lua/hbase/2.0.1/hbase-2.0.1-bin.tar.gz解压安装tar...
2018-09-02 14:50:00
375
原创 在全栈的路上越行越远
在全栈的路上越行越远 posted @ 2018-08-04 23:58 菜鸟的进击 阅读(...) 评论(...) 编辑 收藏
2018-08-04 23:58:00
128
原创 卸载HDP大数据平台
卸载HDP大数据平台 使用以下说明卸载HDP：停止所有已安装的HDP服务。请参阅HDP参考指南中的停止HDP服务。如果安装了Knox，请在所有群集节点上运行以下命令：对于RHEL / CentOS / Oracle Linux：yum remove knox*对于SLES：zypper r...
2018-05-10 16:43:00
809
原创 apache kylin的单节点及多节点安装
apache kylin的单节点及多节点安装 Kylin的使用安装文档Kylin简介Kylin是什么Apache Kylin是一个开源的分布式分析引擎，最初由eBay开发贡献至开源社区。它提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持大规模数据，能够处理TB乃至PB级别的分析任务，能够在亚秒级查询巨大的Hive表...
2018-05-10 16:02:00
295
原创 Hdp安装问题杂解
Hdp安装问题杂解 5.在安装的时候遇到的问题5.1使用ambari-server start的时候出现ERROR: Exiting with exit code -1.5.1.1REASON: Ambari Server java process died with exitcode 255. Check /var/log/ambar...
2018-04-04 12:39:00
1711
原创 clickhouse安装使用文档
clickhouse安装使用文档 Clickhouse简介Clickhouse是什么1.开源的列存储数据库管理系统2. 支持线性扩展3. 简单方便4. 高可靠性5. 容错（支持多主机异步复制，可以跨多个数据中心部署。 单个节点或整个数据中心的停机时间不会影响系统的读写可用性）clickhouse架构及存储方式...
2017-11-15 10:36:00
1013
原创 Azkaban使用安装文档
Azkaban使用安装文档 Azkaban使用安装文档Azkaban简介Azkaban的是什么Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和...
2017-10-26 15:24:00
236
原创 八爪鱼数据抓取，智联招聘为例
八爪鱼数据抓取，智联招聘为例 一．八爪鱼抓取智联招聘信息1.1 打开八爪鱼采集器==》选择快速开始==>新建任务（高级模式）1.2点击下一步 基本流程如下点击下一步1.3启动单机采集等待数据抓取完毕1.4导出数据 csv格式二．将信息导入到虚拟机2.1 因访问外网需要建立socrou...
2017-08-25 14:34:00
2269
原创 大数据 Spark 架构
大数据 Spark 架构 一．Spark的产生背景起源1.spark特点1.1轻量级快速处理Saprk允许传统的hadoop集群中的应用程序在内存中已100倍的速度运行即使在磁盘上也比传统的hadoop快10倍，Spark通过减少对磁盘的io达到性能上的提升，他将中间处理的数据放到内存中，spark使用了rdd（resilient...
2017-08-25 14:25:00
287
原创 Hibernate 映射及查询
Hibernate 映射及查询 实体类和实体之间的关系：一对多，多对多数据库设计：e_r 一个实体对象就是一个表格， 如果是1对多的关系，将多方的主键拿到1方做外键。 多对多：重新建立一张新的表格，将双方的主键拿到这里做外键1、一对多的关系映射。班级和学生为例：1、创建班级实体类和学生实体类2、在班级实体类...
2017-08-21 11:03:00
170
原创 Hiberbate注解
Hiberbate注解 JPA：出现后，所有的ORM框架都有@注解 ，在所有的ORM框架里面是通用的，因此一般是建议大家使用注解进行配置。实体类一般都有唯一属性，普通属性，集合属性 如何体现ORM思想的？@Entity：用来表示这是一个实体对象。@Table：用来描述这个实体对象所对应的是哪一个表格@Column：用来表示...
2017-08-21 11:01:00
191
原创 Hibernate配置文件的书写
Hibernate配置文件的书写 Hibernate主要配置文件<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE hibernate-configuration PUBLIC "-//Hibernate/Hibernate Configuration DTD 3....
2017-08-15 18:25:00
113
原创 Hibernate 基础入门
Hibernate 基础入门 概述：JDBC：将java和数据库连接的驱动程序加载到项目中，在代码里面，注册驱动，创建链接，创建satement对象，发送并执行sql之类，关闭连接。hibernate :数据持久化一个框架，对JDBC的一个封装：使用的好处：可以不用手动sql指令就可以完成一定的持久化功能。 应用与Dao层。是一个轻量...
2017-08-15 17:12:00
116
原创 Hadoop Hbase理论及实操
Hadoop Hbase理论及实操 Hbase特点HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop一...
2017-08-13 15:53:00
153
原创 hadoop flume 架构及监控的部署
hadoop flume 架构及监控的部署 1 Flume架构解释Flume概念Flume是一个分布式 ，可靠的，和高可用的，海量的日志聚合系统支持在系统中定制各类的数据发送方用于收集数据提供简单的数据提取能力并写入到各种接受方Flume 特点1 可靠性当节点出现故障时，日志能够被传送...
2017-08-13 15:39:00
216
原创 hadoop sqoop的常用名命令
hadoop sqoop的常用名命令 1 列出所有的ambari数据库中所有的表Sqoop list-tables -connect jdbc:mysql://localhost:3306/ambari -username ambari -password ambari;2列出mysql里所有的数据库Sqoop list-dat...
2017-08-13 15:30:00
185
原创 hadoop Hive 的建表 和导入导出及索引视图
hadoop Hive 的建表 和导入导出及索引视图 1.hive 的导入导出1.1 hive的常见数据导入方法1.1.1 从本地系统中导入数据到hive表1.创建student表[ROW FORMAT DELIMITED]关键字，是用来设置创建的表在加载数据的时候，支持的列分隔符。[STORED AS file...
2017-08-10 21:18:00
359
原创 hadoop Mapreduce组件介绍
hadoop Mapreduce组件介绍 MapReduce原理MapRedcue采用‘分而治之’的思想，对大规模数据集的操作，分发给一个主节点下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。Mapreduce就是任务的分解，与结果的汇总MapReduce任务机器有两个一个是jobTracker，另一个是TaskT...
2017-07-31 10:53:00
238
原创 hadoop hive组件介绍及常用cli命令
hadoop hive组件介绍及常用cli命令 Hive架构图Hive产生原因1 关系型数据库以产生多年sql成熟2 简化开发降低成本3 java成员可编写udf函数Hive是什么Hive是基于hadoop的一个数据库工具，使用Hql作为接口，maprduce作为执行层Hdfs作为储存层。设计的目的是...
2017-07-31 10:50:00
224
原创 hadoop yarn组件介绍
hadoop yarn组件介绍 Yarn的产生mapReduc1.01单点故障2扩展效率低3资源利用率高降低运维成本方便数据共享多计算框架支持MapReduceSparkStormYarn的架构图Yarn模块介绍ResourceManger负责集群资源的统一管理和调度...
2017-07-31 10:48:00
211
原创 hadoop 组件 hdfs架构及读写流程
hadoop 组件 hdfs架构及读写流程 一 . NamenodeNamenode 是整个系统的管理节点 就像一本书的目录，储存文件信息，地址，接受用户请求，等二 . Datanode提供真实的文件数据，存储服务文件块（block）是基础的最基本的储存单元2.1块储存原理hdfs为什么分块而不是分文件大小不一io不...
2017-07-31 10:43:00
221
原创 vmware虚拟机centOs安装教程
vmware虚拟机centOs安装教程 1安装vmware 虚拟机软件1.解压vmware安装汉化vmware虚拟机 复制注册码，并填写进vmware2安装linux（centos）虚拟机1. 点击文件----->新建虚拟机------>选择自定义---->继续...
2017-07-29 15:55:00
251
原创 Apache hadoop安装配置
Apache hadoop安装配置 1.网络中继更改问题命令： vi /etc/sysconfig/network-scripts/ifcfg-eth0需要修改的代码DEVICE=eth0HWADDR=00:0C:29:11:02:E8TYPE=EthernetUUID=c1038317-21f4-425...
2017-07-29 15:47:00
204
原创 Ambari安装
Ambari安装 adp环境配置文档adp环境配置文档 1一，环境的基础配置同Apache hadoop类似（可参考） 1二，不同配置之处 12.1 同步时钟 1三． Hdp服务器配置 23.1 资源库的配置 23.2安装mysql 23.3安装配置Ambari 33.4重启Ambari-server 4...
2017-07-29 15:45:00
208
原创 虚拟机CentOs的安装及大数据的环境搭建
虚拟机CentOs的安装及大数据的环境搭建 大数据问题汇总 1.安装问题 1.安装步骤，详见文档《centos虚拟机安装指南》 2.vi编辑器使用问题，详见文档《linux常用命令.pdf》 3.网络中继更改问题 命令： ...
2017-07-13 08:33:00
282
原创 NodeJS 实现手机短信验证 模块阿里大于
NodeJS 实现手机短信验证 模块阿里大于 1,NodeJS 安装阿里大于模块切换到项目目录使用npm 安装阿里于模块npminode-alidayu--save2，aliyu官网使用淘宝账户登录登录阿里大于 https://doc.alidayu.com/doc2/index.htm 1登录后点击管理中心...
2017-06-18 20:58:00
351
原创 Nodejs 传图片的两种方式
Nodejs 传图片的两种方式 node上传图片第一种方式1,首先引入模块"connect-multiparty": "~1.2.5",在package.json中添加"connect-multiparty": "~1.2.5",然后在命令中切换到项目目录,使用npm命令:npm installl;基本配置完成ind...
2017-05-11 17:07:00
2241
原创 java spring mvc 全注解
java spring mvc 全注解 本人苦逼学生一枚,马上就要毕业,面临找工作,实在是不想离开学校.在老师的教导下学习了spring mvc ,配置文件实在繁琐,因此网上百度学习了spring mvc 全注解方式完成spring的装配工作;废话不多说了上干货,其实我也没怎么理解不过简单的运行了一个spring mvc ...
2017-04-22 16:44:00
148
原创 ubuntu 下安装Angular2-cli脚手架
ubuntu 下安装Angular2-cli脚手架 一.首先需要安装node,npm.请到nodejs官网进行下载并跟据提示进行安装版本号中间偶数为稳定版本建议下载https://nodejs.org/en/node相关操作https://nodejs.org/dist/latest-v7.x/docs/api/二.检查no...
2017-02-15 00:12:00
199
原创 git的使用及常用命令（二）
git的使用及常用命令（二） 一，把文件放在版本库中执行 git add XXX文件名在执行 git commit -m ‘提交注释'查看状态 git status如果没有改变文件，nothing to comment working directory clean现在修改所放文件， 然后继续使用 git status查看...
2017-02-14 23:37:00
131
原创 framework7+node+mongo项目
framework7+node+mongo项目 Famework7还是一个不错的前端框架不过这个小项目做下来确实踩了不少的坑废话不多说上干货项目代码:https://github.com/tsxylhs/framework7 posted @ 2016-11-24 14:5...
2016-11-24 14:58:00
111
原创 LINUX下安装搭建nodejs及创建nodejs-express-mongoose项目
LINUX下安装搭建nodejs及创建nodejs-express-mongoose项目 在Ubuntu中按CTRL+ALT+T打开命令窗口，按下面步骤和命令进行安装即可。添加sublime text 3的仓库。1.sudo add-apt-repository ppa:webupd8team/sublime-text-3回...
2016-10-13 21:14:00
436
原创 初学strurs基础
初学strurs基础 Struts2基础学习总结Struts 2是在WebWork2基础发展而来的。注意：struts 2和struts 1在代码风格上几乎不一样。Struts 2 相比Struts 1的优点：1、在软件设计上Struts 2 没有像Struts 1那样跟Servlet API 和 struts API 有着紧密的耦...
2016-10-11 20:15:00
225
原创 JAVA Struts2 搭建
JAVA Struts2 搭建 java struts 2搭建1.web工程2.将struts2 用到的jar包，拷贝到webcontent/webinf/lib文件夹。下3.webcontent 下的web.xml 下配置：<?xml version="1.0" encoding="UTF-8"?><...
2016-09-23 10:29:00
169
原创 mongodb的基本操作
mongodb的基本操作 sql术语/概念MongoDB术语/概念解释/说明databasedatabase数据库tablecollection数据库表/集合rowdocument数据记录行/文档columnfield数据字段/域indexinde...
2016-07-10 10:59:00
158
原创 git的使用及常用命令
git的使用及常用命令 一，GIT是什么？git是目前世界上最先进的分布式版本控制系统 Git是分布式版本控制系统，那么它就没有中央服务器的，每个人的电脑就是一个完整的版本库，这样，工作的时候就不需要联网了，因为版本都是在自己的电脑 上。既然每个人的电脑都有一个完整的版本库，那多个人如何协作呢？比如说自己在电脑上改了文件A，其他人也在电脑...
2016-07-03 19:07:00
131
原创 ajax学习记录
ajax学习记录 Ajax(Asynchronous JavaScript and XML)通过XMLHttp对象，开发人员可以在应用程序的任何地方初始化HTTP请求。这些请求以XML的格式返回(或者是其他的格式，如：json)。微软的IE5.0引入了一个名为MSXML的ActiveX程序库，Firefox中也实现了XMLHttp功能。其创建了...
2016-06-30 15:21:00
195
原创 mongoDB在windows下的安装
mongoDB在windows下的安装 （1）下载mongoDb包，在mongodb官网上很容易找到，下载地址，然后删去多余的东西，只保留bin文件夹，在bin文件夹同级的目录下面建立data文件夹，和log文件夹，log文件夹下建立mongo.log文件。（2）管理员身份打开cmd cd到mongo的bin目录下，例子如下c:\Pr...
2016-06-30 15:14:00
89
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人