自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

多一份贡献,多一份环保

https://github.com/dounine

  • 博客(187)
  • 资源 (64)
  • 收藏
  • 关注

原创 C++ Hook注入DLL 完整例子

c++ hook 入门程序,包含要注入的Demo与dll,与注入的程序。

2022-08-21 22:42:34 592

原创 PE 新增一个节区细节

PE 新增节区的实际代码与细节

2022-08-19 15:19:37 41

原创 PE 通过导入表注入 Dll

导入表注入,当程序被加载时,系统会根据程序导入表信息来加载需要用到的dll,导入表注入的原理就是修改程序的导入表,将自己的dll添加到程序的导入表中,这样程序运行时可以将自己的DLL加载到程序的进程空间。...

2022-08-17 11:35:27 239

原创 Frida 逆向hook方法传参

Frida hook NativeFunction arguments 方法传参

2022-07-27 16:58:29 182

原创 linux 误删nginx.conf文件恢复

nginx.conf 配置文件误删,程序还在运行中如何恢复。

2022-07-26 13:04:05 1500 1

原创 Gradle Github Action 发布

简介Gradle 整合 GitHub Actions 自动化发布 Java 项目至 Maven 仓库。文章内是将项目发布至 sonatype 提供的仓库中。证书生成gpg --full-generate-key查看证书idgpg --list-secret-keys --keyid-format SHORT/Users/lake/.gnupg/pubring.kbx------------------------------sec rsa2048/7BDDF87A 2020-07-

2022-01-21 18:43:39 482

原创 k8s部署mitmproxy多台代理服务器

不能使用k8s yaml方式直接使用,目前还不清楚是什么原因引到的DockerfileFROM mitmproxy/mitmproxy:latestEXPOSE 8080EXPOSE 8081ENV TZ=Asia/ShanghaiCMD ["mitmweb","--web-host","0.0.0.0","--set","ssl_insecure=true","--set","block_global=false"]打包docker build . -t dounine/mitmprox

2021-12-30 11:05:43 617 2

原创 windows 开机启动脚本(亲测可用)

1、打开计划任务2、创建任务3、添加一个启动触发器4、添加一个脚本操作5、点击确认,输入登录管理员密码即可重启试试吧

2021-12-28 17:59:54 4986

原创 android maven-publish可用配置,亲测

android maven-publish 中央仓库发布配置

2021-12-14 19:02:22 1805

原创 Scala Slick LocalDateTime与Timestamp转换

在使用Slick操作数据库的时候、如果使用LocalDateTime类型字段、则在数据库中使用的是varchar类型、但是我们需要使用更严格的时间类型Timestamp。这就需要在这两个类型之间来回切换了。使用方法导入包<dependency> <groupId>com.typesafe.slick</groupId> <artifa...

2020-01-09 14:27:49 293

原创 hdfs 磁盘存储不平衡、重新平衡操作

在日积月累的操作中、可能会存在有些磁盘的存储分布得不是很平衡、这就给数据多的那一台机子带来压力、因为很多的读取都是在同一台机子上、所以我们需要重新平衡一下存储、也就是把存储多的机子上的数据转移到其它机子。这里我们使用hdfs提供的balancer命令操作。操作随意登录hdfs集群中的某一台机子、然后切换到hdfs用户su - hdfskerberos 认证[可选]kinit...

2020-01-09 14:27:06 1027 1

原创 Spark - SQL查询文件数据

有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的的东西,只是想快速实现我要的聚合查询数据。那么我们可以利用spark-sql直接操作文件的特性处理这类的需求,姐姐再也不用担心我不会spark了,因为我就只会sql。使用方法csvspark.sql("select * from csv.`/tmp/demo.csv`").s...

2019-11-26 17:29:42 196

原创 Flutter 振动反馈

在Flutter 我们可以使用vibrate插件、可以兼容安卓与IOS。一般可用于振动反馈、比如按钮点击反馈、网络请求成功反馈等等。用法添加依赖到pubspec.yaml到文件当中安卓需要添加下面的振动权限到Android Manifest中<uses-permission android:name="android.permission.VIBRATE"/>使用im...

2019-10-25 12:05:55 4125 1

原创 Play2.7 websocket 使用方法

play2.7x 中的websocket文档少得可怜、看来得适当完善一下子了、这里给大家记录一下一些使用过程吧。使用 WebController.scalaSingletonclass SocketController @Inject()(cc: ControllerComponents)(implicit system: ActorSystem, ec: ExecutionCont...

2019-09-02 16:07:19 392

原创 Scala case class 动态copy

在scala中、case class 确实好用、但是只支持指定字段名称使用copy复制、在动态情场中、一个类的字段可是非常多的、如何处理这样的问题?这就得使用到反射功能了、下面已经给大家写好了。CopyUtil.scalaimport java.lang.reflect.Modifierobject CopyUtil { def copy[T](o: T, vals: (Stri...

2019-08-25 15:01:44 1024

原创 Hbase - 表导出CSV数据

新鲜文章,昨天刚经过线上验证过的,使用它导出了3亿的用户数据出来,花了半个小时,性能还是稳稳的,好了不吹牛皮了,直接上代码吧。MR考查了Hbase的各种MR,没有发现哪一个是能实现的,如果有请通知我,我给他发红包。所以我们只能自己来写一个MR了,编写一个Hbase的MR,官方文档上也有相应的例子。我们用来加以化妆就得到我们想要的了。导出的CSV格式为admin,22,北京admi...

2019-07-10 10:15:48 996

原创 PlayFramework - Actor 对接

playframework 本身就是akka、那如何对接其它的akka系统呢、也就是发消息给其它系统、或者其它系统连接playframework的akka。由于网上的demo几乎是没有的、在没有API的条件下研究了一周终于搞定了。使用指南使用的版本是Play 2.7.xlibraryDependencies ++= Seq( guice, ws, filters, "or...

2019-06-04 15:08:52 369

原创 playframework - jwt会话

接着上一篇的play framework cors跨域、继续讲jwt在play framework中怎么使用的、什么是jwt?JSON Web Token (JWT)是一个开放标准(RFC 7519),它定义了一种紧凑的、自包含的方式,用于作为JSON对象在各方之间安全地传输信息。该信息可以被验证和信任,因为它是数字签名的。简单来说、用了它、你就再也不用在程序中管理全局session会话了。...

2019-05-15 15:08:20 191

原创 playframework - 跨域

接着上一篇的play framework 文件上传、作为一个web项目、cors是一个基本功能、用于防跨站请求攻击的。使用教程添加依赖libraryDependencies += filtersapplication.conf 配置play.http { filters = filters.CorsFilter}play.filters { enabled += "...

2019-05-15 15:07:44 532

原创 playframework - 文件上传

接着上一篇的play framework 数据库连接、作为一个web项目、文件上传是必不可少的一个功能。使用教程jdbc配置upload { path = "/Users/lake/dounine/github/public" prefix = "upload/" # or "" allow.extension = [".jpg", ".png", ".gif"] d...

2019-05-15 15:06:56 257

原创 playframework - jdbc

接着上一篇的play framework redis缓存、作为一个优秀的框架怎么没有数据库操作呢、这篇介绍一下怎么配置jdbc连接、使用的数据库是mysql。使用教程build.sbt 添加依赖libraryDependencies += javaJdbclibraryDependencies += "mysql" % "mysql-connector-java" % "5.1.47...

2019-05-15 15:06:23 295

原创 playframework - redis缓存

接着上一篇的play framework 使用教程使用教程build.sbt 添加依赖libraryDependencies += play.sbt.PlayImport.cacheApilibraryDependencies += "com.github.karelcemus" %% "play-redis" % "2.4.0"添加redis配置 application.con...

2019-05-15 15:05:48 485

原创 playframework - 使用教程

play framework 2.x 是使用scala与java开发的一款框架、不能说是一个框架应该说是一种解决方案。play framework 优点有如下几个:开发效率高、scala的特点函数式编程。无状态、可扩展性极好。热部署、修改源码直接动态编译、无需重启服务。优秀的RESTFul框架。Play的生态圈在不断扩开。使用介绍jdk1.8环境安装 (忽略)SBT安...

2019-05-15 15:04:12 678

原创 Hadoop3.2 集群搭建

Hadoop3.2 集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的版本来演示,过程中遇到的坑留给自己,把路留给你们,IT之路还有大猪。大猪 为了把文章压缩极简方便小伙伴阅读,将使用root帐号进行所有操作。准备两台主机10.211.55.11、10.211.55.12对应的hostname为m1.example.com、m2.e...

2019-04-28 14:50:34 934

原创 Selenium 人工智能操作工具

嘿,小伙伴们周末有没有像 大猪 一样在加班的,今天分享一个超有意思的东西 Selenium 自动化工具,不是说的好人工智能操作?大猪 什么时候也变成标题党了嘛,所谓的自动化不就属于人工智能操作嘛,把平时繁琐的事都交给它去做,这么一说还被你给蒙混过去了。Selenium 就像真实用户所做的一样,Selenium 测试可以在 Windows、Linux 和 Macintosh上的 Interne...

2019-03-30 13:56:32 210

原创 Spark+Hbase 亿级流量分析实战(小巧高性能的ETL)

在上一篇文章 大猪 已经介绍了日志存储设计方案 ,我们数据已经落地到数据中心上了,那接下来如何ETL呢?毕竟可是生产环境级别的,可不能乱来。其实只要解决几个问题即可,不必要引入很大级别的组件来做,当然了各有各的千秋,本文主要从 易懂、小巧 、简洁、 高性能 这三个方面去设计出发点,顺便还实现了一个精巧的 Filebeat。设计loghub功能要实现的功能就是扫描每天的增量日志并写入Hba...

2019-03-29 18:01:23 774

原创 Spark+Hbase 亿级流量分析实战( 留存计算)

这篇已经是本系列文章的第五篇了,上一篇大猪已经介绍 PV/UV 的实现方式以及程序的计算逻辑,本篇大猪继续为小伙伴介绍 留存 ,看在Spark+Hbase的架构中到底是怎么实现这种指标的。大猪 的习惯就是能上图就尽量不BB,好的图是会说话的,大猪 也在努力实现中。详细分析过程大猪25通过某篇文章注册了简书帐号,26去浪去了。27再次登录简书,小伙伴猜猜是哪天的几日留存?...

2019-03-28 23:50:05 582

原创 Spark+Hbase 亿级流量分析实战( PV/UV )

作为一个百亿级的流量实时分析统计系统怎么能没有PV/UV这两经典的超级玛丽亚指标呢,话说五百年前它俩可以鼻祖,咳咳…,不好意思没忍住,多嘴,回归正文,大猪 在上一篇已经介绍了 小巧高性能ETL程序设计与实现 了,到现在,我们的数据已经落地到Hbase上了,而且日志的时间也已经写到Mysql了,万事都已经具备了,接下来我们就要撸指标了,先从两个经典的指标开始。程序流程在运行指标之前我们有必要...

2019-03-28 00:25:08 1007

原创 Spark+Hbase 亿级流量分析实战(日志存储设计)

背景接着上篇文章 百亿级流量实时分析统计 - 数据结构设计 我们已经设计好了日志的结构,接下来我们就准备要开始撸代码了,我最喜欢这部分的环节了,可是一个上来连就撸代码的程序肯定不是好程序员,要不先设计设计流程图?那来吧!!!流程图设计一用户发起文章操作,发起请求日志日志将由SLB服务器进行负载到日志打点服务器。NSA将作为日志收集中心进行存储,也可以使用rsync把节点上的日志同...

2019-03-25 00:01:21 1122 2

原创 Spark+Hbase 亿级流量分析实战(数据结构设计)

背景靠文章生存的大厂们简书/小红书/CSDN(PS:好吧你们仨记得给我广告费),对优秀的文章进行大数据分析的工作必不可以少了,本系列文章将会从关于文章的各个维度进行实战分析,这系列文章新手可借着踏入大数据研发的大门,至于大数据的大佬们可以一起来相互伤害,至少为什么取名为 ‘‘百亿级流量实时分析统计’’ 看完后整个系列的文章你就知道了,相信大家都是会举一反三的孩子们。作者网名:大猪佩琪姓名...

2019-03-23 18:22:19 579

原创 Spark 高级篇 - 程序不重启还能支持动态注册UDF

昨天有位大哥问小弟一个Spark问题,他们想在不停Spark程序的情况下动态更新UDF的逻辑,他一问我这个问题的时候,本猪心里一惊,Spark**还能这么玩?我出于程序员的本能回复他肯定不行,但今天再回过来头想了一想,昨天脑子肯定进水了,回复太肤浅了,既然Spark可以通过编程方式注册UDF,当然把那位大哥的代码逻辑使用反射加载进去再调用不就行了?这不就是JVM的优势么,怪自己的反射没学到家,说...

2019-03-15 18:16:49 1059

原创 Scala 反射动态创建方法的骚操作

有时候我们想定义一个字符串的方法,然后通过scala的动态创建class,然后反射调用方法,在很多情景下是在学有用的,比较动态自定义spark的mapParations,当然了,每个人的需求都不一样,但是底层原理是一样的。先画饼运行object CreateTest{ def main(args: Array[String]): Unit = { val cim = Cla...

2019-02-27 20:50:50 2236

原创 简单易懂的Actor通讯系统栗子

使用定义消息协议object Messages { case class Hello(content: String) case class World(content: String)}定义常量object Cons { val ResourceManagerName = "ResourceManagerName" val NodeManagerName = "...

2019-02-21 11:15:29 186

原创 来、这里有Hbase导出CSV格式数据的文章

新鲜文章,昨天刚经过线上验证过的,使用它导出了3亿的用户数据出来,花了半个小时,性能还是稳稳的,好了不吹牛皮了,直接上代码吧。MR考查了Hbase的各种MR,没有发现哪一个是能实现的,如果有请通知我,我给他发红包。所以我们只能自己来写一个MR了,编写一个Hbase的MR,官方文档上也有相应的例子。我们用来加以化妆就得到我们想要的了。导出的CSV格式为admin,22,北京admi...

2019-02-21 11:13:43 478

原创 Spark 在文件上直接使用SQL查询

有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的的东西,只是想快速实现我要的数据。那么我们可以利用spark直接操作文件的特性处理这样的问题。使用方法csvspark.sql("select * from csv.`/tmp/demo.csv`").show(false)jsonspark.sql("select *...

2019-02-21 11:11:39 610

原创 Spark 直接操作数据源 MySQL

如果我们的Mysql服务器性能不咋滴,但是硬盘很够,如何才能做各种复杂的聚合操作?答案就是使用spark的计算能力的,我们可以将mysql数据源接入到spark中。读取val mysqlDF = spark .read .format("jdbc") .option("driver","com.mysql.jdbc.Driver") .option("url","jdbc:...

2019-02-21 11:10:51 978

原创 Spark 数据源jdbc2新增upsert功能

在spark的数据源中,只支持Append, Overwrite, ErrorIfExists, Ignore,这几种模式,但是我们在线上的业务几乎全是需要upsert功能的,就是已存在的数据肯定不能覆盖,在mysql中实现就是采用:ON DUPLICATE KEY UPDATE,有没有这样一种实现?官方:不好意思,不提供,dounine:我这有呀,你来用吧。哈哈,为了方便大家的使用我已经把项目...

2019-02-21 11:10:10 1941 2

原创 Scala shell 使用外部包方法

我们可以使用scala shell做很多事情,比如测试一些demo,不用再打开idea那类那么重的编辑器,当然还有其它用法,像我们使用hbase有这样的问题,只是想测试hbase一些东西,但是每次连接hbase很慢,使用scala shell可以先把hbase连接池先创建好,需要测试什么样的代码直接放进去执行即可,即共享变量。使用方法引用单个包scalaWelcome to Scala...

2019-01-31 14:42:07 992 1

原创 你们还在用 Scala Tuple234..? Outer啦

为什么这么说呢,难道我自己多年使用的方式错了嘛,是的,你没错,我错了,哈哈,主要原因是使用Tuple的时候容易搞错对象,Tuple2的时候还知道第一个参数跟第二个参数的意思,后面多来个几参数你会记得_1._2._3._4代表的意思是什么吗?代码结构也不好维护,所以请结束使用Tuple吧请开始你的表演正常使用Tupleval list = Array((1,2,3,4),(5,6,7,8...

2019-01-31 14:41:19 214

原创 Hbase 迁移数据[导出,导入]

有没有这样一样情况,把一个集群中的某个表导到另一个群集中,或者hbase的表结构发生了更改,但是数据还要,比如预分区没做,导致某台RegionServer很吃紧,Hbase的导出导出都可以很快的完成这些操作。环境使用现在环境上面有一张表logTable,有一个ext列簇但是没有做预分区,虽然可以强制拆分表,但是split的start,end范围无法精确控制。方式一 (先导出再导出)...

2019-01-25 00:44:39 485

connect命令c脚本

用于网络连接的connect命令c脚本,可自行编译:gcc -o connect connect.c

2016-11-10

改善既有代码的设计[高清版]

改善既有代码的设计[高清版],为提高自身的程序设计而产生的。

2015-12-15

TortoiseSVN-1.9.2.26806-x64-svn-1.9.2

TortoiseSVN-1.9.2.26806-x64-svn-1.9.2

2015-10-16

mysql-5.5.29-winx64

mysql-5.5.29-winx64

2015-10-16

mysql-5.5.42.tar.gz

mysql-5.5.42.tar.gz

2015-07-23

linux SSH连接工具

linux SSH连接工具,SSHSecureShellClient

2015-07-23

tomcat7(8)redis集群相关jar包

这5个包是用于tomcat7(8)redis集群相关jar包。

2015-04-29

WinRAR64位破解版

非常好用WinRar64位,适合目前所有的windows64位操作系统。

2015-04-04

underscore.js 1.8.2

underscore.js官方出的最新版本,与backone.js一起使用。

2015-03-30

Backbone.1.1.2.js

Backbone.1.1.2.js最新版本,客户端mvc模式开发。

2015-03-30

apache-maven-3.2.5-bin.zip

maven最新版本apache-maven-3.2.5-bin.zip

2015-03-30

概念win8网页模板

概念win8网页模板,来源于dounine.com.

2015-03-30

Git-1.9.2-windows客户端

这个是git分布式项目管理windows客户端。

2015-03-30

commons-pool2-2.3.jar

commons-pool2-2.3.jar

2015-01-23

redis-2.8.19

redis-2.8.19是redis.io出的最新版本,可以使用它来做集群服务。

2015-01-23

tomcat-redis-session-manager

tomcat+redis集群,会话共享所用到的。

2015-01-23

JUnit4.9最新版本

JUnit是一个Java语言的单元测试框架,Junit4.9是最新版本,里面包括junit4.9,jar,junit4.9源代码,junit4.9-API(javadoc文件夹里面index.html), 希望对大家有帮助

2014-12-15

catalina-ant.jar

ant 用于自动化布署的专用包。少了它是不行的。

2014-12-10

apache-ant-1.9.4-bin.zip

apache-ant-1.9.4-bin.zip

2014-12-08

testng eclipse插件.zip

testng eclipse插件 eclipse run to testng

2014-12-08

Extjs4.2 动态加载项目(权限模块)

Extjs4.2 动态加载项目(权限模块),直接下载下来即可使用,数据可自动生成。

2014-11-25

angularjs 中文api.chm

angularjs 中文api.chm

2014-11-19

AngularJS API.chm

AngularJS API.chm参考手册

2014-11-19

AsyncThreading_2.1.zip

AsyncThreading_2.1.zip

2014-10-28

mybatis-spring-1.2.2.ja

mybatis-spring-1.2.2.

2014-09-22

WEB压力测试工具

一个很好的WEB压力测试工具。

2014-08-25

Git-1.8.5.2-preview20131230.exe

Git-1.8.5.2-preview20131230.exe

2014-08-15

org.eclipse.egit-updatesite-1.2.

org.eclipse.egit-updatesite-1.2.

2014-08-15

pinyin4j-2.5.0.zip

汉字转换拼音在日常开发中是个很常见的问题。例如我们伟大的12306,在地名中输入“WH”,就会出现“武汉”“芜湖”“威海”等地名,输入“WUHU”就会出现“芜湖”。 Java获取汉字的拼音,pinyin4j这个库可以很好的解决这个问题。

2014-08-13

google-collections-1.0.jar

道的最好的扩展实现包,其中一些被社区叫嚣着要加入JDK // create an ArrayList with three arguments List<String> list = Lists.newArrayList("foo", "bar", "baz"); // notice that there is no generics or class cast, // and still this line does not generate a warning. Set<String> s = Sets.newConcurrentHashSet(); // intersect and union are basic features of a Set, if you ask me Set<String> s = Sets.intersect(s1, s2); // Example of multiple values in a Map ListMultimap<String, Validator> validators = new ArrayListMultimap<String, Validator>(); validators.put("save", new RequiredValidator()); validators.put("save", new StringValidator()); validators.put("delete", new NumberValidator()); validators.get("save"); // { RequiredValidator, StringValidator } validators.get("foo"); // empty List (not null) validators.values(); // { RequiredValidator, StringValidator, NumberValidator }

2014-08-13

jasypt加密_spring整合.zip

这个是用于给hibernate的配置文件加密使用的 jasypt加密_spring整合.zip

2014-08-06

extjs 图标大全

你所想用到的图标基本在里面都能找到

2014-07-25

java jetty容器

这是一个jetty容器、和tomcat是一个级别的,但是这个启动是非常快的,一般都是用于开发。

2014-07-14

ext-4.2.1.883.jsb2

ext-4.2.1.883.jsb2

2014-07-08

extjs 自动提示用到的spket-1.6.23.jar

extjs 自动提示用到的spket-1.6.23.jar

2014-07-07

extjs 自动提示用到的sdk.jsb3

sdk.jsb3

2014-07-07

quartz-1.8.5.jar

quartz-1.8.5.jar

2014-07-05

lucene-4.7.0.rar

lucene-4.7.0.rar

2014-07-05

netty-4.0.0.CR3.tar.bz2

netty-4.0.0.CR3.tar.bz2

2014-07-05

poi-bin-3.10-final.zip

apache用于操作excel的poi-bin-3.10-final.zip

2014-07-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除