- 博客(104)
- 收藏
- 关注
RSS订阅转载 Spark Streaming之dataset实例
Spark Streaming是核心Spark API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。 bin/spark-submit --class Streaming /home/wx/Stream.jar hadoop fs -put /home/wx/123.txt /user/wx/文本123.txtNOTICE:07-26 logId[0072]N...
2017-07-31 19:59:00
229
转载 搭建备份到业务迁移---mysql
mysql安装启动以及配置使用到阿里云主机直接yum安装以及配置[root@yunwei-169 mysql]# yum install mysql mysql-server[root@yunwei-169 mysql]# mysql -Vmysql Ver 14.14 Distrib 5.1.73, for redhat-linux-gnu (x86_64) usin...
2017-07-31 15:37:00
47
转载 使用MYCAT轻松实现MYSQL水平分片
完整文章下载地址：http://download.csdn.net/detail/dreamcode/9383516 简单来说，我们能够将数据的水平切分理解为是依照数据行的切分。就是将表中的某些行切分到一个数据库，而另外的某些行切分到其它的数据库中。当中选择合适的切分规则至关重要，由于它决定了兴许数据聚合的难易程度。 有几种典型的分片规则包含： （1）依照用户主键ID求模...
2017-07-30 20:46:00
81
转载 dropout
https://zhuanlan.zhihu.com/p/23178423从这个总结看的出来，用sgd时，是每个mini_batch更新一次dropout，并且前向和反向传播都是会在经过dropout处理后的神经元上进行。比如这一层有10个神经元，有5个神经元停止工作，那前向和反向都会在另外5个神经元上进行。...
2017-07-30 18:13:00
62
转载 算法笔记--lca倍增算法
算法笔记模板：vector<int>g[N];vector<int>edge[N];int anc[20][N];int deep[N];int h[N];void dfs(int o,int u,int w){ if(u!=o)deep[u]=deep[o]+1,h[u]=h[o]+w; for(int j=0;...
2017-07-30 14:54:00
105
转载 利用jenkins打造通过自定义参数更新svn 指定文件任务
jenkin可以执行很多构建任务，有时候我们需要在执行构成中同构shell对服务器进行操作而且还需要进行参数的传入比如：我要利用svn进行本地代码的更新，单又不是所有代码的更新，只更新指定的1个或这个文件，怎么实现呢。jenkins有很多插件，其中插件Extended Choice Parameter Plug-In就可以定义参数，没有安装的可以去插件管理进行搜索安装，,结合jenkin参...
2017-07-29 15:20:00
379
转载 【深入JAVA EE】Spring配置文件解析
在阅读的过程中有不论什么问题，欢迎一起交流邮箱：1494713801@qq.com QQ：1494713801 一、Spring头信息Spring配置文件的头部信息通常是固定不变的。但每个标签都有自己的含义。xml命名空间格式例如以下：<?xml version="1.0" encoding="UTF-8"?><beans ...
2017-07-29 10:15:00
89
转载 中大型网站架构演变之路
网上有很多文章类似于今天要分享的主题，有架构师写的，有运维写的，还有开发写的，偏重点各不同！今天我以运维角度讲解中大型网站架构演变之路。一个成熟的网站架构并不是一开始设计就具备高可用、高伸缩、高性能等特性的，它是随着用户量和业务线不断增加，基础架构才逐渐健壮的。在发展初期，一般都是从0到1，不会一上来就整一些大而全的架构！适用业务：电商/门户/招聘...
2017-07-28 10:50:26
108
转载 （Thinking in Java）第10章 内部类
Thinking in Java捞干货，写笔记一、成员内部类1.最基本使用public class Demo { class Contents{ private int i=11; public int value(){ return i; } ...
2017-07-28 06:02:58
66
转载 安装部署LNMP/大并发nginx优化/php性能加速 实战
安装部署LNMP及Nginx优化、PHP加速进行压力测试部署LNMP环境：主机IP主机名Centos7.2192.168.5.128www.benet.com部署步骤如下：使用yum仓库安装Nginx依赖包yum -y install gcc gcc-c++ make libtool zlib zlib-devel pcre pcre-de...
2017-07-25 20:28:13
352
转载 AES算法在Python中的使用
Python有很多开源库，使用AES等加密算法时可以找对应的开源库。我记录一下安装方法：（1）下载开源库pycrypto下载地址：https://pypi.python.org/pypi/pycrypto（2）解压安装python setup.py build #编译python setup.py install #安装（3）在Windows环境下的编...
2017-07-25 18:40:00
221
转载 第1章第1节练习题10 查找中位数
问题描写叙述 一个长度为L(L ≥1) 的升序序列S。处在第 ⌜ L/2 ⌝ 个位置的数称为S的中位数。比如，若序列S1=(11,13,15,17,19)。则S1的中位数是15。 两个序列的中位数是含它们全部元素所组成的升序序列的中位数。比如，若S2=(2,4,6,8,20)。则S1和S2的中位数是11。 如今有两个等长升序序列A和B，试设计一个在时间和空间...
2017-07-25 13:43:00
635
1
转载 ZooKeeper安装部署
1 概述 ZooKeeper（动物园管理员），顾名思义。是用来管理Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）的管理员。同一时候Apache HBase、Apache Solr、LinkedIn Sensei等众多项目中都採用了ZooKeeper。 ZooKeeper是Hadoop的正式子项目。与Hadoop密切相关但却没有不论什么依赖。它是一个针对大型应用提供高可用...
2017-07-25 11:56:00
47
转载 [译] 为企业应用设计更好的表格
原文地址：Designing better tables for enterprise applications原文作者：Adhithya译文出自：掘金翻译计划本文永久链接：github.com/xitu/gold-m…译者：Lai校对者：LeviDing Ruixi为企业应用设计更好的表格深入了解如何在企业应用中设计表格，以及如何避免常见的错误企业应用通常很复杂，因为要展示大量的包含多种来源、模...
2017-07-25 07:02:34
59
转载 java对cookie的操作
转载自：http://www.cnblogs.com/muzongyan/archive/2010/08/30/1812552.html java对cookie的操作比较简单，主要介绍下建立cookie和读取cookie，以及如何设定cookie的生命周期和cookie的路径问题。 建立一个无生命周期的cookie，即随着浏览器的关闭即消失的cookie，代码如下12...
2017-07-24 21:02:00
51
转载 照猫画虎学gnuplot之折线图
本节重点：怎样利用已知数据来画折线图。首先说明：gunplot文件的后缀名为*.plt。本节讲述怎样利用已知数据来画折线图，顾名思义必定涉及到两个文件：一个是须要的数据文件，即*.dat文件。还有一个就是由gunplot命令组成的*.plt文件，后者必定曾经者为基础才干作图。所以必须将两者置于同一目录内。 详细步骤：1、首先在某一路径下建立一目录，然后新建两个*.txt文件，分...
2017-07-24 14:34:00
180
转载 使用docker Maven插件本地构建docker镜像并发布到远程服务器
1.登录网站https://start.spring.io/，生成一个基本的SpringBoot应用。2.将应用导入Eclipse IDE并创建Application类。目录结构如下：Application代码如下：package com.example.demo.controller;import org.springfra...
2017-07-23 16:47:20
438
转载 laravel 自定义全局函数
laravel 内置全局函数在 illuminate/supports/helpers.php自己定义全局函数方法一"files": [ "app/Helpers/helpers.php"]然后执行：composer dump-auto方法二bootstrap/autoload.php 中添加require__DIR__.'/../app/He...
2017-07-23 14:26:00
64
转载 Java配置SpringMVC的web.xml
<?xml version="1.0" encoding="UTF-8"?><web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://xmlns.jcp.org/xml/ns/javaee" xsi:schemaLocation="http://xmlns.jcp.org/xm...
2017-07-23 01:01:00
101
转载 如何选研究题目？
说明这篇文章，是写给我去年入学的研究生的。暑期之后，他们中的几位就要开题了。本着一贯的开放原则，我把这篇文章同时发布到网络上。欢迎有需要的高年级本科生或低年级研究生同学一起阅读。前些日子，我参加了哈工大的“大数据与商务分析”暑期学校。这段日子的记忆是炎热、匆忙和充实的。我收获了许多东西，尤...
2017-07-21 21:53:00
329
转载 开源大数据周刊-第61期
EMR资讯：在北京举行的Strata Data 会议上，EMR团队的木艮进行了《Hadoop遇到云上对象存储——实现原理、陷阱和性能优化》的主题分享EMR + ECS D1机型的数据高可靠方案进行中，8月底将会正式提供服务。EMR团队将会在Hadoop上进行改造，支持阿里云的主子账号的AK认证访问Hadoop体系。资讯全球最顶级大数据盛会S...
2017-07-21 17:24:11
45
转载 微信公众平台开发(111) 现金红包、裂变红包、企业付款
keyword：微信公众平台 微信红包 现金红包 裂变红包 企业付款 作者：方倍工作室 原文：http://www.cnblogs.com/txw1958/p/wxpay-mkt-transfer.html 在这篇微信公众平台开发教程中，我们将介绍怎样在实现现金红包、裂变红包、企业付款以及红包交易查询（含现金红包和裂变红包）和企业付款查询的功能。本文分为下面二个部分：微信支付接口SDK定义现...
2017-07-20 21:40:00
379
转载 restfull环境搭建-helloword（三）
原文地址：http://only81.iteye.com/blog/1689537This section creates a CRUD (Create, Read, Update, Delete) restful web service. It will allow to maintain a list of todos in your web application via HTTP ca...
2017-07-20 17:21:00
114
原创 《感知与响应》作者访谈录
\关键摘要\每个商业，都是软件商业 \运营一个基于软件的企业和传统的工业时代的管理不同。 \软件是一个有生命的系统，在不断的优化、修改以及更新换代中得到提升。 \管理产品团队为产出（新功能版本）交付软件驱动的服务，只能增加软件和用户体验的膨胀感。 \管理团队对于消费行为中的成果和有意义的变化，是组织敏捷性以及打造消费者喜爱的产品或服务的关键。\InfoQ读者可以点击下载《感知与响应》样章。\Inf...
2017-07-19 18:07:00
45
转载 CF 234 C Weather（粗暴方法）
C. Color Stripetime limit per test2 secondsmemory limit per test256 megabytesinputstandard inputoutputstandard outputA colored stripe is repre...
2017-07-18 10:21:00
69
转载 机器学习案例学习【每周一例】之 Titanic: Machine Learning from Disaster
下面一文章就总结几点关键：1、要学会观察，尤其是输入数据的特征提取时，看各输入数据和输出的关系，用绘图看！2、训练后，看测试数据和训练数据误差，确定是否过拟合还是欠拟合；3、欠拟合的话，说明模型不准确或者特征提取不够，对于特征提取不够问题，可以根据模型的反馈来看其和数据的相关性，如果相关系数是0，则放弃特征，如果过低，说明特征需要再次提炼！4、用集成学习，bagging等通常可以获得更高...
2017-07-18 09:00:00
300
转载 05-表操作
1. 数据库相关操作 (1). 查看有哪些数据库： show databases; (2). 使用指定数据库： use 数据库名称; (3). 查看指定数据库中有哪些表： show tables; (4). 创建指定名称的数据库: create database 数据库名称; (5). 删除数据库: drop datab...
2017-07-15 10:00:00
57
转载 网络中的ip存储顺序
如果地址是192.168.72.139那么写入ip数据包中是一个无符号32位数。就会获得一个值为2336794816的数，转化位二进制如下：10001011 01001000 10101000 11000000139 72 168 192会发现顺序刚好颠倒。转载于:https://www.cnblogs.com/littleby/...
2017-07-14 14:41:00
92
原创 学习“网络安全法” 解析公民信息保护
学习“网络安全法” 解析公民信息保护 Jackzhai 很多人都有这样的经历：刚买了车，立刻有人向你推销车保险；孩子刚出生，马上有人向你推销小尿片；有卖房的推销，有卖保险的骚扰，看不完的垃圾短信，不胜其烦响一声就挂的陷阱电话……移动互联网在让我们融入互联网虚拟世界的同时，也让我们的生活彻底陷入被垃圾信息包围、没有自我空间的数字海洋中。 这个世界是怎么了？那些人为啥有我的电话与省份证...
2017-07-14 13:31:50
176
转载 webapp开发学习--Ionic+Cordova 环境搭建
我们看Ionic 能给我们提供什么? 一个样式库，你可以使用它来装饰你的HTML网页 ,看起来 想 移动程序的界面，什么header 、content、footer、grid、list。这貌似没什么实质性的东西，sencha touch ，jq 都能提供 。一个用 AngularJS 写的工具库，姑且叫它 组件库吧。Ionic的 grid 设计的比较合理，比 bootstrap的 更强大。当然它...
2017-07-12 18:52:00
51
转载 session技术进行登录验证问题解析
遇到的问题1：核心问题，就是如果需要做登陆和登陆到主界面的话，需要做三个界面。三个界面分别是：1：登陆界面2：验证登陆界面3：主界面下面来解释每个界面的作用。登录界面顾名思义了就是登录，目前JSP还不会，就outprintln代码了（大佬不要笑）。这里有一个问题，我最开始的思路是，直接在这个界面申请出一个session然后把这个界面文本框的值给session。这时候经过测试发...
2017-07-12 16:21:00
134
转载 Https的介绍和使用
简介超文本传输安全协议（英语：Hypertext Transfer Protocol Secure，缩写：HTTPS，常称为HTTP over TLS，HTTP over SSL或HTTP Secure)。SSL，Secure Sockets Layer 的缩写，1994年由网景设计的，1999 年，互联网标准化组织接替网景公司，发布了...
2017-07-12 08:35:25
78
转载 Hadoop之——HBASE结合MapReduce批量导入数据
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46463889废话不多说。直接上代码，你懂得package hbase;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Con...
2017-07-11 18:38:00
92
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人