自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

直到世界的尽头

计算机的世界有无数道门窗 无论我们打开哪一道 都能收获无穷尽的风景

  • 博客(13)
  • 资源 (95)
  • 收藏
  • 关注

原创 hadoop组件---spark实战-----airflow----调度工具airflow部署到k8s中使用

在之前的文章中 我们已经了解了airflow 和 它的工作原理。hadoop组件—spark实战-----airflow----调度工具airflow的介绍和使用示例Scheduler进程,WebServer进程和Worker进程需要单独启动。Scheduler和WebServer可以跑在一个操作系统内,也可以分开,而通常Worker需要很多,如果是部署特定的数量的Worker,那就需要特定数...

2020-02-27 23:20:07 9406

原创 hadoop组件---spark实战-----airflow----调度工具airflow的介绍和使用示例

Airflow是什么Airflow是一个可编程,调度和监控的工作流平台,基于有向无环图(DAG),airflow可以定义一组有依赖的任务,按照依赖依次执行。airflow提供了丰富的命令行工具用于系统管控,而其web管理界面同样也可以方便的管控调度任务,并且对任务运行状态进行实时监控,方便了系统的运维和管理,可视化方面和易用性都是很好的。2019年airflow 已经成长为apache的顶级项...

2020-02-27 15:18:33 7152 2

原创 k8s---使用ingress配置域名转发时的traefik路径规则详解

ingress中traefik的使用方式如下:apiVersion: extensions/v1beta1kind: Ingressmetadata: name: spark-client-test namespace: default annotations: kubernetes.io/ingress.class: traefik traefik.fronte...

2020-02-25 19:42:02 15264

原创 hadoop组件---spark实战----spark on k8s模式k8s原生方式spark2.4.4 通过web UI界面查看任务运行情况

一般我们在运行spark任务时,需要查看他的运行情况。比较常用的方式就是在spark的UI界面上查看。一般的spark 因为driver所在的node是固定的,ip也就是固定的,所以能够通过ip或者域名映射后即可很方便的进行访问。spark on k8s比较特别的是 driver是一个在k8s集群中临时启动的pod,它一般没有外部ip,只有k8s的内部ip,同时这个内部ip 每次driver...

2020-02-25 19:38:48 2120

原创 数据挖掘(七) -----在python程序中使用hail

我们在之前的文章中已经尝试安装了hail和简单的使用数据挖掘(五) -----基于Spark的可伸缩基因数据分析平台开源存储运算架构hail全面了解和安装但是 我们发现 这种hail的运行方式 是需要进入到conda的hail的虚拟环境中才能运行的。我们业务一般来说 都是在外层执行,还有其他的业务逻辑,所以最好还是在python的py程序中就能调用hail,而不是进入到conda的虚拟环境中...

2020-02-22 13:19:52 1992

原创 数据挖掘(五) -----基于Spark的可伸缩基因数据分析平台开源存储运算架构hail全面了解和安装

hail简介hail是一个开源的、通用的、面向python数据类型的处理基因数据专用的分析库和方法解决方案。hail的存在是 为了 支持 多维度的复杂的数据结构,比如 全基因组关联数据研究(GWAS).GWAS Tutorialhail的底层是通过python,scala,java和apache spark来实现的。hail官网官方文档hail的官方论坛维护hail的团队是 Nea...

2020-02-21 18:32:29 1950

原创 hadoop组件---spark实战----spark on k8s模式k8s原生方式spark2.4.4在python程序中通过conf创建sparkSession

我们在之前的文章中已经尝试了使用spark on k8s。hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode提交python程序和运行pyspark不过 使用的方式 是spark-submit 或者 pyspark 来启动 spark on k8s。但是 一般 我们进行业务编程,都会 有其他的处理逻辑, 然后在 ...

2020-02-20 21:12:49 1116

转载 数据挖掘----基础--conda安装---miniconda

conda简介Conda 是一个开源的软件包管理系统和环境管理系统,用于安装多个版本的软件包及其依赖关系,并在它们之间轻松切换。 Conda 是为 Python 程序创建的,适用于 Linux,OS X 和Windows,也可以打包和分发其他软件。安装condaconda分为anaconda和miniconda。anaconda是包含一些常用包的版本(这里的常用不代表你常用 微笑.jpg),...

2020-02-14 17:19:26 1461

原创 hadoop组件---spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode提交python程序在spark中访问s3

我们在上篇文章中已经成功运行使用spark-submit提交了python程序运行spark。hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode提交python程序和运行pyspark本篇文章记录 在client pod中使用spark-submit提交python程序在spark on k8s中访问s3。进入c...

2020-02-10 17:19:37 1001

原创 hadoop组件---spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode提交python程序和运行pyspark

我们在上篇文章已经学习使用spark on k8s的client mode 运行了spark shell 和提交jar包运行任务。hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode和使用本篇文章记录运行pyspark和提交python程序。制作有python和java环境和包含有spark2.4.4客户端的镜像...

2020-02-08 22:49:50 1429

原创 hadoop组件---spark实战----遇到问题---executor无法删除

遇到问题----executor无法删除一直重启序号自增如下:[zzq@localhost spark-2.4.4-bin-hadoop2.7]$ kubectl get pods |grep sparkspark-1529-1581160495887-exec-51856 0/1 Error 0 10...

2020-02-08 19:34:21 677

原创 hadoop组件---spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 client mode和使用

我们在之前的文章中已经安装了cluster mode模式和尝试了使用。hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 cluster modehadoop组件—spark实战----spark on k8s模式k8s原生方式—cluster mode调用运行spark程序本篇文章尝试安装client mode。两种模式的区别c...

2020-02-06 00:56:14 1729 1

原创 hadoop组件---spark实战----spark on k8s模式k8s原生方式---cluster mode调用运行spark程序

我们在上篇文章中已经记录了 如果 安装spark on k8s模式k8s原生方式—cluster mode。hadoop组件—spark实战----spark on k8s模式k8s原生方式安装spark2.4.4 cluster mode本章记录 cluster mode这种方式的spark集群使用方法。首先注意 提交spark命令需要借助 spark的安装包中的spark-submit命...

2020-02-05 17:45:30 2247 1

jQuery网页扫描二维码打赏功能代码.zip

jQuery网页扫描二维码打赏功能代码.zip

2017-05-07

springshiro

spring集成shiro 和mongodb数据库 ,下载可用ini配置,启用mongo配置

2015-06-24

springMVC框架

springMVC框架代码可用

2015-06-01

zoe的maven框架

本人经常用的代码框架,包含了ss-mongodb,quartz,httpclient的登录和抓取,jsp和action之间的传值。

2015-03-03

svn服务端window版安装程序

svn服务端window版安装程序,自己下载安装可用

2014-12-08

过滤代理ip的程序

用于过滤代理ip,选出可用代理ip,因为上传限制,里面不包含lib包

2014-10-23

ssh框架例子

可用的ssh框架例子,搭建过程详见本人博客

2014-08-07

java基本框架

java基本框架 包含ss和mongodb以及quartz之类的一些包

2014-07-22

java发送邮件用到的包mail

java发送邮件用到的包mail,具体使用方法详见本人博客

2014-07-14

myeclipse的svn插件.zip

myeclipse的svn插件.zip,解压后把features和plugins放到myeclipse的dropins文件夹即可

2014-07-08

ssh框架搭建用到的包完整版.zip

ssh框架搭建用到的包完整版.zip 网上有很多ssh搭建的教程,但是我们自己搭建时常常因为包的版本冲突出现这样那样的问题。本次的完整版是可以成功搭建的。欢迎使用,教程在博客中更新。

2014-07-03

java通过class读写excel的例子

我们常常遇到要把一个类class写入excel的时候,有时候class的字段非常多,我们不可能一个个的去get写入excel。这里写了一个通用方法。只要传入数据的list和类型,就能很方便的把数据写入excel,也能很方便的读取出来。

2014-07-01

log4j示例项目

log4j示例项目,里面包含了log4j需要的两个包,以及设置的方法,调用的方法。

2014-06-16

easyui相关文件和示例

jQuery easyui相关文件和示例

2014-04-23

mongodb+spring+strust框架完整示例版本

mongodb+spring+strust框架完整示例版本

2014-04-18

java excel api

java excel api 的包 引入后 可方便的对excel进行读写

2014-04-17

mongodb+spring+strust框架

mongodb+spring+strust框架

2014-04-15

java解析json用到的包

java解析json用到的包

2014-02-18

java爬取网页表格的例子(运行环境myeclipse)

java爬取网页表格的例子(运行环境myeclipse)

2014-01-24

整合spring和mongodb用到的包和配置文件

整合spring和mongodb用到的包和配置文件 spring和mongodb的配置很麻烦 版本不对应就容易报错 这里可以直接引用 只要解压后放到web-inf文件夹中即可 自己工程的lib文件夹如果已经有东西 则把解压出的lib中包放到自己工程中的lib中

2014-01-21

Spring Boot使用spring-data-jpa配置Mysql多数据源

Spring Boot使用spring-data-jpa配置Mysql多数据源,可用版本

2018-12-17

springMVCHibernateShiroBootStrap框架

springMVCHibernateShiroBootStrap框架springMVCHibernateShiroBootStrap框架

2017-11-16

cxselect选择城市

cxselect选择城市,联动效果,列出出了大部分的城市以及区,县等信息,封装了联动选择效果。引用后可直接使用。 官网:https://www.npmjs.com/package/cxselect 示例: http://www.jq22.com/yanshi3238

2017-09-13

ueditor1.4.3的jsp版utf-8

ueditor1.4.3的jsp版utf-8,加入项目中即可使用。官网文档http://fex-team.github.io/ueditor/

2017-07-03

bootstrap-tagsinput.zip

bootstrap-tagsinput.zip,bootstrap框架可以使用的tag标签输入框效果插件。

2017-06-26

bootstrap-fileinput-master.zip

最好用的bootstrap-fileinput上传组件,支持多图上传,详细使用方式请查看http://blog.csdn.net/zzq900503/article/details/73499514

2017-06-23

uploadifyHtml5

uploadify的Html5可用版本, uploadify的html5版本可以解决safari等浏览器需要session的问题。

2017-06-14

springshiroHttpURLConnection.zip

SpringMVC框架选择文件后上传到远程静态资源服务器的源码。

2017-06-07

select2插件资源

select2插件资源,直接放入项目中引用css和js可用。详细使用方式可查看我的博客select2的下拉选择框使用

2017-05-19

SpringMVC+Shiro+MongoDB+BootStrap基础框架

SpringMVC+Shiro+MongoDB基础框架,maven管理包,直接下载可用。这是一个空白的基础项目,可以很方便的在上面进行开发,目前在此基础上加上了BootStrap后台模版,如果进行后台系统开发的话建议使用这个系统。

2017-05-16

SpringMVC+Shiro+MongoDB基础框架

SpringMVC+Shiro+MongoDB基础框架,maven管理包,直接下载可用。这是一个空白的基础项目,可以很方便的在上面进行开发

2017-05-15

cas+shiro客户端源码

cas+shiro客户端源码,cas的客户端加上了shiro的权限控制。不包含服务端

2017-02-17

hadoop-eclipse-plugin-1.2.1.jar

hadoop-eclipse-plugin-1.2.1.jar,直接解压后放到myeclipse中的dropins目录下重启myeclipse即可。

2016-09-14

hadoop2完全分布式最新高可靠安装文档及整合hbase0.96安装

hadoop2完全分布式最新高可靠安装文档及整合hbase0.96安装

2016-06-12

hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结.pdf

hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结.pdf

2016-06-12

myeclipse10.7.1导出war包崩溃补丁.zip

myeclipse10.7.1导出war包崩溃补丁.zip

2016-05-04

Bootstrap双日历插件使用demo

Bootstrap双日历插件使用演示,下载后点击html可看到效果

2016-03-05

springMVC+maven+hibernate框架

springMVC+maven+hibernate框架,搭建的过程 可以参考 java进阶(五)------springMVC---springMVC+Hibernate+maven完整搭建运行步骤 http://blog.csdn.net/zzq900503/article/details/49892783

2015-11-22

鼠标经过时弹出层的效果示例

鼠标经过时弹出层的效果示例,现在是静态数据,如果需要动态请求,根据传值getJson去后台取数据即可。

2015-07-15

图片放大镜效果示例

图片放大镜效果示例,封装了js,可以很方便的调整,直接浏览器打开可看到效果,再根据自己的需求做相应调整。

2015-07-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除