- 博客(4557)
- 收藏
- 关注
RSS订阅转载 常用linux命令
vim使用快捷键1、行首命令行模式：yy复制一行，nyy复制n行命令行模式：p粘贴一行或多行命令行模式：dd删除一行跳转行首：home行未：end命令行模式：GG 跳转到文档首行gg 跳转到文档末行awk语句awk -F "," '{print $1}'awk '{print $0} file' #打印所有列awk '{print $1}' file #打印第一列aw...
2019-10-01 14:36:00
337
转载 Java 8——日期时间工具库（java.time）
一.前言在介绍Java SE 8中新的日期时间库前，先了解下Java 8之前的日期时间工具的诟病。在Java SE 8前，日期时间工具库在java.util包中，包括：java.util.Date：表示日期和时间java.util.Calendar以及其实现子类：表示各种日历系统，常用的是格林威治日历java.util.GregorianCalendarjava....
2019-09-30 18:00:00
386
转载 快速搭建redis5.0集群
redis主从集群搭建redis简单主从结构如上图所示，主从结构的redis由主节点负责读写操作，从节点负责读操作，这里做搭建介绍，具体工作原理不分析。下载安装redis压缩包解压压缩包，进入redis-5.0文件夹，运行命令./make install安装redis安装完成进入redis-5.0/src文件夹，执行./redis-serv...
2019-09-30 17:57:00
292
转载 service redis does not support chkconfig的解决办法
问题解决办法如下：必须把下面两行注释放在/etc/init.d/redis文件靠前的注释中：# chkconfig: 2345 90 10# description: Redis is a persistent key-value database 上面的注释的意思是，redis服务必须在运行级2，3，4，5下被启...
2019-09-29 14:16:00
243
转载 配置Redis集群为开机自启动
vim /etc/init.d/redisc将下方脚本写入redisc文件中#!/bin/sh# chkconfig: 2345 80 90## Simple Redis init.d script conceived to work on Linux systems# as it does use of the /proc filesystem....
2019-09-29 11:41:00
597
转载 一个Tomcat最多支持多少用户的并发？
omcat默认配置的最大请求数是150，也就是说同时支持150个并发，当然了，也可以将其改大。当某个应用拥有250个以上并发的时候，应考虑应用服务器的集群。具体能承载多少并发，需要看硬件的配置，CPU越多性能越高，分配给JVM的内存越多性能也就越高，但也会加重GC的负担。操作系统对于进程中的线程数有一定的限制：Windows每个进程中的线程数不...
2019-09-28 19:58:00
191
转载 Redis 集群规范
Redis 集群的目标Redis 集群是 Redis 的一个分布式实现，主要是为了实现以下这些目标（按在设计中的重要性排序）：在1000个节点的时候仍能表现得很好并且可扩展性（scalability）是线性的。没有合并操作，这样在 Redis 的数据模型中最典型的大数据值中也能有很好的表现。写入安全（Write safety）：那些与大多数节点相连的客户端所做的写入操...
2019-09-27 08:34:00
174
转载 官方:Redis 集群教程
本文档是Redis集群的一般介绍，没有涉及复杂难懂的分布式概念的赘述，只是提供了从用户角度来如何搭建测试以及使用的方法，如果你打算使用并深入了解Redis集群，推荐阅读完本章节后,仔细阅读Redis 集群规范一章。本教程试图提供最终用户一个简单的关于集群和一致性特征的描述请注意，本教程使用于Redis3.0（包括3.0）以上版本如果你计划部署集群，那么我们建议你从阅读这个...
2019-09-26 18:03:00
182
转载 Redis学习5之redis-cli使用方法总结
1.redis-cli使用时各参数的含义和使用方法xubo@xubo:~/7000$ redis-cli --helpredis-cli 3.0.3Usage: redis-cli [OPTIONS] [cmd [arg [arg ...]]] -h <hostname> Server hostname (default: 127.0.0...
2019-09-26 17:43:00
373
转载 redis cluster管理工具redis-trib.rb详解
概述redis-trib.rb是redis官方推出的管理redis集群的工具，集成在redis的源码src目录下，是基于redis提供的集群命令封装成简单、便捷、实用的操作工具。redis-trib.rb是redis作者用ruby完成的。为了看懂redis-trib.rb，我特意花了一个星期学习了ruby，也被ruby的简洁、明了所吸引。ruby是门非常灵活的语言，redis-tri...
2019-09-26 15:17:00
179
转载 redis 5.0中使用 redis-cli 添加cluster node 并 reshard
在redis-5中redis-trib.rb的功能被集成到了redis-cli中，大大简化了redis的集群部署，加快了进群部署的速度，也方便后期维护与扩容。以下简要介绍一下redis-cli在集群中的操作：环境：Ubuntu 18.04.2 LTSredis版本：redis-5.0.5集群架构：3master+3slave（后期添加1master+1slave）创建...
2019-09-26 13:15:00
580
转载 Redis主从复制简介
什么是主从复制持久化保证了即使 redis 服务重启也会丢失数据，因为 redis 服务重启后会将硬盘上持久化的数据恢复到内存中，但是当 redis 服务器的硬盘损坏了可能会导致数据丢失，如果通过 redis 的主从复制机制就可以避免这种单点故障，如下图：说明：主 redis 中的数据有两个副本（replication）即从 redis1 和从 redis2...
2019-09-25 10:30:00
70
转载 Redis Sentinel机制与用法（一）
本专栏与Redis相关的文章Redis Sentinel机制与用法（一）Redis Sentinel机制与用法（二）Jedis的JedisSentinelPool源代码分析Jedis的Sharded源代码分析Redis 主从 Replication 的配置详解Redis SORT命令JedisCommand接口说明本文参考翻译自《Redis Sentinel Documentat...
2019-09-24 16:11:00
145
转载 Redis主从复制和高可用方案
Redis 安装下载地址：https://redis.io/downloadtar xzf redis-5.0.3.tar.gzcd redis-5.0.3make启动脚本src/redis-server主从复制方案从的配置文件修改#replicaof <masterip> <masterport&g...
2019-09-24 15:56:00
184
转载 安装sublime简易笔记
1、安装编码工具sublime text3（下载地址，软件管家网盘）2、安装完成后，下载sublime text3中与python相关的插件：package control进入package control 官网，找到installation--sublime text3，复制如下代码然后打开sublime text3界面，按下ctrl+（esc下面的波浪键），下方出现命...
2019-09-22 19:07:00
91
转载 五 、 Kafka producer 拦截器(interceptor) 和 六 、Kafka Streaming案例
五 Kafka producer 拦截器(interceptor) 5.1 拦截器原理 Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现 clients 端的定制化控制逻辑。 对于 producer 而言，interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会 对...
2019-09-20 11:30:00
274
转载 spark graphx图计算
一、使用graph做好友推荐import org.apache.spark.graphx.{Edge, Graph, VertexId}import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}//求共同好友object CommendFriend {...
2019-09-19 20:37:00
195
转载 四、Kafka API 实战
四 Kafka API 实战 4.1 环境准备 1）在 eclipse 中创建一个 java 工程 2）在工程的根目录创建一个 lib 文件夹 3）解压 kafka 安装包，将安装包 libs 目录下的 jar 包拷贝到工程的 lib 目录下，并 build path。 4）启动 zk 和 kafka...
2019-09-19 17:25:00
136
转载 三、Kafka工作流程分析
三 Kafka 工作流程分析3.1 Kafka 生产过程(Producer)分析 3.1.1 写入方式 producer 采用推（push）模式将消息发布到 broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 吞吐率）。...
2019-09-19 17:18:00
121
转载 二、Kafka集群部署
二 Kafka 集群部署2.1 环境准备 2.1.1 集群规划 node01 node02 node03zk zk zkkafka kafka kafka2.1.2 jar 包下载 http://kafka.apache.org/downloads.html2.1.3 虚拟机准备1）准备 3 ...
2019-09-19 16:50:00
102
转载 Codeforces 1220D Alex and Julian （数论）
题目链接题意：首先给你一个集合B，定义一个图是由整数集合为定点，若i，j为整数，且 abs(i - j) 在集合 B 之中，那么图中存在一条连接 i，j 的无向边。问至少去掉 B 中多少个元素才能使这张图为一个二分图。其实我不清楚这道题到底算不算数论，但肯定不是图论，只用到了判定二分图的基本方法：不存在奇环。如何让这个图不存在奇环？我们考虑起点为 0，如果 B 中存在整数...
2019-09-19 16:12:00
131
转载 一、KafKa概述
数据技术之 Kafka 版本：V1.0 一 Kafka概述1.1 Kafka 是什么 在流式计算中，Kafka 一般用来缓存数据，SparkStreaming/Flink/Storm 通过消费 Kafka 的数据进行计算。 1）Apache Kafka 是一个开源消息系统，由 Scala 写成。是由 Apache 软件基金会开发的 一个开源消息系统项目...
2019-09-19 14:59:00
99
转载 安装KafKa和常用命令
创建topic：./kafka-topics.sh --create --topic JsonData --partitions 3 --replication-factor 1 --zookeeper linux04删除：bin/kafka-topics.sh --delete --zookeeper sentos01:2181 --topic topicNa...
2019-09-19 13:55:00
107
转载 商圈标签
商圈标签一、使用百度地图开发平台(lbs),根据经纬度查询商圈注:中国的经纬度范围大约为:维度3.86~53.55,经度73.66~135.05不在范围内的数据可不做处理第一步:注册百度地图开发平台的账号,申请地址:http://lbsyun.baidu.com/第二步:填写注册信息第三步:创建应用(申请密钥)...
2019-09-19 13:47:00
288
转载 Redis的SortSet命令
相关命令BZPOPMAXBZPOPMINZADDZCARDZCOUNTZINCRBYZINTERSTOREZLEXCOUNTZPOPMAXZPOPMINZRANGEZRANGEBYLEXZRANGEBYSCOREZRANKZREMZREMRANGEBYLEXZREMRANGEBYRANKZREMRANGEBYSC...
2019-09-19 08:43:00
157
转载 Redis的Set命令
相关命令SADDSCARDSDIFFSDIFFSTORESINTERSINTERSTORESISMEMBERSMEMBERSSMOVESPOPSRANDMEMBERSREMSSCANSUNIONSUNIONSTORE转载于:https://www.cnblogs.com/powerwu/articles/115...
2019-09-18 10:51:00
190
转载 洛谷P2468 [SDOI2010]粟粟的书架 二维前缀和+二分+主席树
题目链接从数据范围可以看出，该题给出的数据有两种类型：1.给一个最大 200 X 200 的矩阵。2.给一个最长为 500000 的数列。那么我们显然需要对这两种数据类型设计两种算法来分别解决。1.对于 200 X 200 的矩阵，因为每本书页数不超过1000，可以用二维前缀和处理sum[i][j][k]记录 (1,1) (i, j) 这个矩阵中高大于k的书的总高度...
2019-09-18 01:22:00
116
转载 Redis的Hash命令
相关命令HDELHEXISTSHGETHGETALLHINCRBYHINCRBYFLOATHKEYSHLENHMGETHMSETHSCANHSETHSETNXHSTRLENHVALS转载于:https://www.cnblogs.com/powerwu/articles/11533432.html...
2019-09-17 14:17:00
104
转载 洛谷P1169 [ZJOI2007]棋盘制作 悬线法
题目链接首先了解一下悬线法：《浅谈用极大化思想解决最大子矩阵问题》对于这道题，障碍点就是与当前点颜色相同的点，其他就照着模板做就好。#include <iostream>#include <stdio.h>#include <stdlib.h>#include <string.h>using namespac...
2019-09-17 01:17:00
106
转载 Redis的List命令
相关命令BLPOPBRPOPBRPOPLPUSHLINDEXLINSERTLLENLPOPLPUSHLPUSHXLRANGELREMLSETLTRIMRPOPRPOPLPUSHRPUSHRPUSHX转载于:https://www.cnblogs.com/powerwu/articles/11528745...
2019-09-16 18:01:00
132
转载 Redis的Strings命令
相关命令APPENDBITCOUNTBITFIELDBITOPBITPOSDECRDECRBYGETGETBITGETRANGEGETSETINCRINCRBYINCRBYFLOATMGETMSETMSETNXPSETEXSETSETBITSETEXSETNXSETRANGESTRLEN...
2019-09-16 17:51:00
427
转载 spark08
spark08这就是广播变量，每个executor中复用一份数据，在driver端将数据广播出去，在executor端使用val bd = sc.broadcast(iparr)val proRDD = accRDD.map(t=>{val province = binarySeach(t,bd.value)(province,...
2019-09-16 17:17:00
102
转载 spark07
spark07spark运行原理：RDD Objectdriver提交代码，spark-submit运行main方法。但是没有真正执行，初始化driver端得组件DAGScheduler TaskScheduler SchedulerBackEnd.saveAsTextFile出发，DAGScheduler提交任务，解析代码生DAG有向无环图，真正得遇见action算子。...
2019-09-16 17:13:00
92
转载 spark06
spark06总共提交的任务分为四个阶段，提交+执行解析代码生成DAG有向无环图，在分配完毕executor以后将生成的DAG图提交给DAGScheduler这个组件在哪里（driver），driver中的DAGScheduler负责切分阶段，按照DAG图中的shuffle算子进行阶段的切分，切分完毕阶段以后，按照每个阶段分别生成task任务的集合，将所...
2019-09-16 15:10:00
108
转载 spark05
spark05def main(args: Array[String]): Unit = {//每个用户最喜欢得电影类型//观看量 评分得平均值val conf = new SparkConf()conf.setMaster("local[*]")conf.setAppName("movie")val sc = new SparkC...
2019-09-16 15:04:00
108
转载 洛谷 P2279 树形dp
题目链接题目大意：给定一棵树，设一个关键节点可以覆盖半径为2的范围，问要覆盖整棵树要至少几个关键节点。这道题可以用贪心或者树形dp解决。因为最近我深感自己dp能力太弱，所有练练dp。状态设计：f[p,0]代表将p的祖父覆盖需要的最少关键点数量f[p,1]代表将p的父亲覆盖需要的最少数量f[p,2]代表将p覆盖需要的最少数量f[p,3]代表将p的儿子覆盖需要的最...
2019-09-16 15:02:00
119
转载 spark04
spark04join leftOuterjoin rightOuterJoin cogroupscala> var arr = Array(("zhangsan",200),("lisi",300),("wangwu",350))arr: Array[(String, Int)] = Array((zhangsan,200), (lisi,300), ...
2019-09-16 14:58:00
100
转载 spark03
spark03map遍历每一个元素mapPartitions每次遍历一个分区foreach action算子foreachPartitions action算子collectnginx flume hdfs hbase spark mysql如果是插入数据，那么foreachPartition比较好，因为每个分区建立一个连接提交的一个任务中，存在...
2019-09-16 14:49:00
121
转载 spark02
spark02自定义资源分配--executor-cores--executor-memory--total-executor-cores 最大允许使用多少核数3台机器 每个机器8cores 1G--executor-cores--executor-memory--total-executor-coresexec...
2019-09-16 14:47:00
181
转载 spark01
spark01spark的特点搭建spark的集群提交spark的任务spark的运行机制spark wordcountspark的官网spark.apache.orgspark运行速度比较快：因为使用内存mr存在昂贵的shufflemr 只有两个算子 (map reduce)*Nmr每次计算的时候中间结果落地到磁盘中spark 算子比较多...
2019-09-16 14:41:00
94
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人