- 博客(52)
- 收藏
- 关注
RSS订阅转载 Spark Streaming消费Kafka Direct方式数据零丢失实现
使用场景Spark Streaming实时消费kafka数据的时候，程序停止或者Kafka节点挂掉会导致数据丢失，Spark Streaming也没有设置CheckPoint（据说比较鸡肋，虽然可以保存Direct方式的offset，但是可能会导致频繁写HDFS占用IO），所以每次出现问题的时候，重启程序，而程序的消费方式是Direct，所以在程序down掉的这段时间Kafka上的数据是消费不...
2016-12-30 10:16:00
65
转载 spring mvc
spring mvc 处理请求流程:1、 首先用户发送请求————>前端控制器，前端控制器根据请求信息（如URL）来决定选择哪一个页面控制器进行处理并把请求委托给它，即以前的控制器的控制逻辑部分;2、 页面控制器接收到请求后，进行功能处理，首先需要收集和绑定请求参数到一个对象，这个对象在Spring Web MVC中叫命令对象，并进行验证，然后将命令对象委托给业务对象进行处理；处...
2016-12-29 18:19:00
66
转载 新手学跨域之iframe
https://segmentfault.com/a/1190000000702539页面嵌套iframe是比较常见的，比如QQ相关业务页面的登录框一般都是iframe的。使用ifrmae跨域要满足一个基本条件，父页面和子页面都是自己可以控制的，如果随便把iframe指向一个其他网站，想通过跨域手段操作它基本上是不可能的。document.domaindocument.dom...
2016-12-29 17:22:00
49
转载 关于An internal error occurred during: "Launching MVC on Tomcat 6.x". java.lang.NullPointerException...
因为打开了ecplise ，并且临时用了tomcat服务器，导致自己打开myecplise以后无法顺利使用，换了换Tomcat服务器也没有任何作用，在网上搜了很多种方法也没有解决，今天看到这个办法还是挺好用且很简单的，记录下以便于以后忘了查1、首先关闭MyEclipse工作空间。2、然后删除工作空间下的“/.metadata/.plugins/org.eclipse.core.runtime/...
2016-12-29 13:47:00
2658
转载 Shodan新手入坑指南
*本文原创作者：xiaix，本文属FreeBuf原创奖励计划，未经许可禁止转载亲们~黑五 Shodan Membership 只要5刀，你剁手了没？什么是 Shodan？首先，Shodan 是一个搜索引擎，但它与 Google 这种搜索网址的搜索引擎不同，Shodan 是用来搜索网络空间中在线设备的，你可以通过 Shodan 搜索指定的设备，或者搜索特定类型的设备，其中 Sho...
2016-12-29 09:36:00
250
转载 Docker Day1 & 2
Docker Day1 & 2 1. Docker Basic安装docker（在/etc/selinux/config文件中设置selinux=disabled，否则安装时会报错）curl-ssLhttp://get.docker.io/|sh启动docker，设置为开机启动systemctl s...
2016-12-28 16:16:00
83
转载 Jquery中each的三种遍历方法
Jquery中each的三种遍历方法$.post("urladdr", { "data" : "data" }, function(data) { $.each(data, function(n,value) { });});1、选择器+遍历$('div').each(function(i){i就是索引值this...
2016-12-27 20:09:00
96
转载 Android开发之import org.apache.http
在build.gradle(app)中添加一下依赖：android { useLibrary 'org.apache.http.legacy'}dependencies { compile 'org.apache.httpcomponents:httpcore:4.4.2'}在相应的节点下添加依赖包，然后编译即可，如果还是不行的...
2016-12-27 12:43:00
489
转载 Python -- 数据加载、存储与文件格式
标签（空格分隔）： Python读入读出通常可以划分为几个大类：读取文本文件和其他更高效的磁盘存储格式，加载数据库中的数据，利用Web API操作网络资源。读写文本格式的数据pandas提供了一些用于将表格型数据读取为DataFrame对象的函数，如下表所示：函数说明read_csv从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为,read...
2016-12-26 14:23:00
48
转载 字节流与字符流的区别
package com.etc.io;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.FileReader;import java.io.FileWriter;import java.io.IOException;import ja...
2016-12-26 13:58:00
42
转载 PYTHON 文件操作
对文件操作流程打开文件，得到文件句柄并赋值给一个变量通过句柄对文件进行操作关闭文件现有文件如下Beautiful is better than ugly. 优美胜于丑陋Explicit is better than implicit. 明了胜于晦涩Simple is better than complex. 简单胜过复杂...
2016-12-24 14:30:00
49
转载 普通对象如何继承？
普通对象的继承方法今天有个朋友给问我varobj1={},varobj2=obj1，如何能做到改变obj2的属性值而obj1里面的值。大家都知道，这方法涉及到了对象的引用，使用的是同一块内存，所以呢就会你变我也变。说到这里很明显，我们需要重新申请一块地方来放obj2的东西，我就说继承和new，那么下面我来说说 普通对象是如何做到继承方法一：单一属性继承 , 普通对象赋值实...
2016-12-23 17:34:00
48
转载 DNS枚举工具DNSenum
DNS枚举工具DNSenumDNSenum是一款非常强大的域名信息收集工具。它能够通过谷歌或者字典文件猜测可能存在的域名，并对一个网段进行反向查询。它不仅可以查询网站的主机地址信息、域名服务器、邮件交换记录，还可以在域名服务器上执行axfr请求，然后通过谷歌脚本得到扩展域名信息，提取出域名并查询，最后计算C类地址并执行whois查询，执行反向查询，把地址段写入文件。在Kali ...
2016-12-23 10:24:00
55
转载 排序——数据结构课程作业
(╥╯^╰╥) 1 /* 2 请设计直接插入排序算法函数void insertSort(int a[],int n)，对a[1]..a[n]进行升序排序。 3 并测试在不同数据规模下的排序效率。 4 */ 5 #include "Arrayio.h" 6 #define N 10000 /*N为数据量大小，因data1.txt中只有50万个数，所以自...
2016-12-22 22:56:00
128
转载 CSS自定义响应式网格
CSShtml,body{ margin:0; padding:0; width:100%; }.grid-container{ /*响应式网格的容器*/ width:100%; }/*清除行前行后的浮动，使它能完全包含浮动的子元素*/.row:before,.row:after{ content:"...
2016-12-22 20:58:00
67
转载 Struts1+JQuery的例子
Struts1+JQuery的例子2014年2月10日11:25Struts1+JQuery+JSON/XML的例子1.Struts+JQuery+XML struts-config.xml如下：[xhtml] view plaincopy TestxmlAction.java如下:[java] view plaincopy/*Generated by My...
2016-12-21 19:47:00
68
转载 何为敏捷开发
何为敏捷开发？简单的说，敏捷开发是一种以人为核心、迭代、循序渐进的开发方法。在敏捷开发中，软件项目的构建被切分成多个子项目，各个子项目的成果都经过测试，具备集成和可运行的特征。 敏捷开发宣言： 1. 个体和交互胜过过程和工具 2. 可工作的软件胜过面面俱到的文档 3. 客户协作胜过合同谈判 4. 响应变化胜过遵循计划 从上面的宣言...
2016-12-21 15:42:00
63
转载 极光推送知识点2
客户端可以给每个用户注册一个别名alias，和多个标签tag。到时候，就可以给这些别名和标签发送推送了。也可以给所有跟这个客户端有关联的用户发送消息。setPlatform设置平台setPlatform(M\all) //设置所有平台setPlatform(M\platform('ios', 'android'))//设置android和iossetAudien...
2016-12-21 12:49:00
58
转载 ftp发送文件
#!/bin/bash#author:luyongjinIP=220.250.65.22USERNAME='ftp_hangye20'PASSWORD='oUo2JD7oK#u-epw'#DATE=`date -d'-1 day' +'%Y%m%d'`DATE=$(date +%Y%m%d)echo $DATEDIR=/tpdata/46/$DATE l...
2016-12-21 11:25:00
51
转载 Hibernate配置详细解释
hibernate.cfg.xml<!--标准的XML文件的起始行，version='1.0'表明XML的版本，encoding='gb2312'表明XML文件的编码方式--> <?xml version='1.0' encoding='gb2312'?> <!--表明解析本XML文件的DTD文档位置，DTD是Document Type Definition 的...
2016-12-21 09:24:00
99
转载 Android Studio连接真机
-------------siwuxie95 1、首先创建一个项目：HelloWorld，点击app，出现下拉选项，选择Edit Configurations 2、Deployment Target Options下的Target，选择USB Device，点击OK 或 Apply ...
2016-12-20 15:48:00
133
转载 ceil,floor函数
floor： floor(A):取不大于A的最大整数。 ceil: ceil(A):取不小于A的最小整数。转载于:https://www.cnblogs.com/ymjyqsx/p/6201730.html
2016-12-20 10:47:00
52
转载 生产排产表DL-ZPPR002
*&---------------------------------------------------------------------**& Report ZPPR002*&*&---------------------------------------------------------------------**&*&...
2016-12-20 09:30:00
180
转载 Linux 进程间通讯详解二
消息队列--消息队列提供了本机上从一个进程向另外一个进程发送一块数据的方法--每个数据块都被认为有一个类型，接收者进程接收的数据块可以有不同的类型值--消息队列也有管道一样的不足，就是每个消息的最大长度是由上限的（MSGMAX），每个消息队列的总的字节数是有上限的（MSGMNB），系统上消息队列的总数也有一个上限(MSGMNI)消息大小的三大限制cat /proc/...
2016-12-19 17:42:00
38
转载 JUnit操作指南-批量执行单元测试（将多个测试类捆绑在一起执行）
相关链接：https://github.com/junit-team/junit4/wiki/Aggregating-tests-in-suites转载于:https://www.cnblogs.com/weilu2/p/junit_aggregating_tests_in_suites.html
2016-12-19 08:02:00
795
转载 周末补题(比赛)情况
BC： C 1003 1004codeforces：Codeforces Round #385 (Div. 2) D E北航：几个题都值得一做其他：补完矩阵快速幂，然后水了道经典质数背包。唉。又没做BZOJ。 转载于:https://www.cnblogs.com/cxhscst2/p/6648799.html...
2016-12-19 00:38:00
43
转载 Bash on Ubuntu on Windows 到底想干啥？apt update又能解决啥问题？
转载于:https://www.cnblogs.com/rgqancy/p/6195801.html
2016-12-18 22:25:00
71
转载 如何在latex 中插入EPS格式图片
如何在latex 中插入EPS格式图片第一步：生成.eps格式的图片1、利用visio画图，另存为pdf格式的图片 利用Adobe Acrobat裁边，使图片大小合适 另存为.eps格式，如下图所示：注：这一步必须按照图示方式另存为，不能直接强行改后缀名，否则插入后无法显示。2、利用matlab画图，直接另存为eps格式即可第二步：插入代码...
2016-12-17 23:14:00
229
转载 解决jquery动态创建元素绑定事件失效问题
存在问题在我们使用jquery动态创建元素后往往会遇到一些问题，如：给.button按钮绑定了点击时间，执行alert:(1);点击事件代码如下：<script>$("#add").click(function(){ var btn='<input type="button" class="button" value="del" >'; $("#bo...
2016-12-15 16:23:00
236
转载 KMP算法
KMP算法(Knuth-Morris-Pratt Algorithm)是一种非常高效的字符串匹配算法，是由Knuth,Morris和Pratt三位与1977年发布的算法。最坏复杂度为O(n+m)首先我们用一个例子来演示这个算法：原串为babababcbababababb模式串为bababb模式串的失配数组为0,1,1,2,3,4当i = 6, j = 6时，出现了第一次不匹配...
2016-12-15 13:14:00
45
转载 #英文#品读中国城市个性——秦汉雄风&和祖先在一起
妨碍 interfere with仇恨 hatred坍塌 collapse专制君主 autocratic dictator排除异己 suppress opposition被逼到绝望边缘 be pushed to the edge of despair稳定社会 stabilize the society主导思想 dominant school of thought...
2016-12-14 22:50:00
104
转载 Spring核心框架IOC---- 使用注解完成IOC配置---- 使用注解配置spring组件
222转载于:https://www.cnblogs.com/1020182600HENG/p/6175609.html
2016-12-13 23:55:00
35
转载 python升级
一开始有这个需求，是因为用 YaH3C 替代 iNode 进行校园网认证时，一直编译错误，提示找不到Python的某个模块，百度了一下，此模块是在 Python2.7 以上才有的，但是系统的自带的Python是2.6版本，难怪一直连不上网。于是，继续百度google，进行安装，后来又出现问题...在此开篇记录一下，权当备忘。查看python的版本[plain...
2016-12-13 10:51:00
42
转载 升级python
一开始有这个需求，是因为用 YaH3C 替代 iNode 进行校园网认证时，一直编译错误，提示找不到Python的某个模块，百度了一下，此模块是在 Python2.7 以上才有的，但是系统的自带的Python是2.6版本，难怪一直连不上网。于是，继续百度google，进行安装，后来又出现问题...在此开篇记录一下，权当备忘。查看python的版本[plain...
2016-12-13 10:22:00
42
转载 Leetcode #1. Two Sum
key： build and search Hash table.following up questions: Overflow value for target?用Hash table记录之间的状态，思想类似DP def twoSum(nums, target): d = {} n = len(nums) res = [] for i...
2016-12-13 03:38:00
53
转载 select样式美化（简单实用）
美化select，可以实用一个a标签将select嵌套进去，然后将<a>相对定位，在将select绝对定位，美化<a>即可<!DOCTYPE><html><head> <script type="text/javascript" src="jquery.js"></script> ...
2016-12-12 11:47:00
584
转载 java 验证手机号码、电话号码（包括最新的电信、联通和移动号码）
一、目前的号码段（2016-12-8更新）二、代码[java]packagecom.test;importjava.util.regex.Pattern;publicclassCheckPhone{/**座机电话格式验证**/privatestaticfi...
2016-12-09 08:56:00
275
转载 配置ngnix
server { listen 80; server_name www.aaa.com; root /home/www/...; index index.php index.html index.htm; location ~ \.php/ { ...
2016-12-08 17:16:00
41
转载 mvc用ViewData实现下拉列表的级联
1、准备数据的actionpublicActionResultIndex(){varDrplist = OperateContext.Current.BLLSession.IProductsSortBLL.GetListBy(s => s.ProductsSortID > 0).Select(t =>newModel...
2016-12-08 16:42:00
124
转载 POJ2531--子网流量问题
#include <iostream>using namespace std;#define SIZE 20int data[SIZE + 1][SIZE + 1];int subnet[2][SIZE];int maxTraffic = 0;int getTraffic(int node, int netNumber, int size){...
2016-12-08 14:55:00
50
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人