- 博客(1022)
- 收藏
- 关注
RSS订阅转载 MySQL添加用户、删除用户与授权
MySql中添加用户,新建数据库,用户授权,删除用户,修改密码(注意每行后边都跟个;表示一个命令语句结束):1.新建用户 1.1 登录MYSQL： @>mysql -u root -p @>密码 1.2 创建用户： mysql> insert into mysql.user(Host,User,Password) values("localhos...
2019-06-26 22:46:31
545
转载 Linux各目录及每个目录的详细介绍
来源：https://www.cnblogs.com/dengyungao/p/8426878.html在 Linux 下，我们看到的是文件夹（目录）：在早期的 UNIX 系统中，各个厂家各自定义了自己的 UNIX 系统文件目录，比较混乱。Linux 面世不久后，对文件目录进行了标准化，于1994年对根文件目录做了统一的规范，推出 FHS ( Filesystem Hierarc...
2019-06-26 20:13:40
878
转载 linux常用命令说明
来源：https://www.cnblogs.com/swordfall/p/8655084.html1. 基础快捷键使用ctrl + c：停止进程ctrl + l：清屏ctrl + r：搜索历史命令ctrl + q：退出2.常用目录或文件夹命令说明：安装linux时，创建一个itcast用户，然后使用root用户登陆系统1.进入到用户根目录cd ~ 或 cd...
2019-06-26 20:01:25
1893
转载 使用yum查看安装了哪些软件包、某软件包是否已经安装？
来源：https://my.oschina.net/u/3803405/blog/1791255/Linux系统下yum命令查看安装了哪些软件包：$yum list installed //列出所有已安装的软件包yum针对软件包操作常用命令：1.使用YUM查找软件包命令：yum search php2.列出所有可安装的软件包命令：yum list php...
2019-06-26 19:22:04
77274
转载 JVM虚拟机Centos6.4网络配置。
来源：https://www.cnblogs.com/hehexiaoxia/p/4042564.html关于虚拟机VMware 3种网络模式（桥接、nat、Host-only）的工作原理http://www.cnblogs.com/hehexiaoxia/p/4042583.html操作环境主机：Windows Server 2008虚拟机：VMware station 9...
2019-06-20 22:35:22
152
转载 centos6.4配置网络yum源
来源：https://blog.csdn.net/kadwf123/article/details/78231694参考于：http://mirrors.aliyun.com/help/centos?spm=5176.bbsr150321.0.0.d6ykiD1、备份原文件mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos...
2019-06-20 20:59:36
317
转载 在虚拟机(VMware)中安装Linux CentOS 6.4系统(图解) 转
一、下载最新版本Linux CentOS1.打开官网地址：http://www.centos.org/，点击Downloads->Mirrors 2.点击CentOS PublicMirror List 3.点击South American, Asian, Oceania, Middle Eastern, African and Other...
2019-06-20 20:22:27
199
转载 shell：遍历目录和子目录的所有文件
来源：https://www.cnblogs.com/xiaopipi/p/6214673.html#!/bin/bashfunction getdir(){ for element in `ls $1` do dir_or_file=$1"/"$element if [ -d $dir_or_file ] then ...
2019-06-20 00:00:43
2264
转载 MapReduce编程job概念原理
在Hadoop中，每个MapReduce任务都被初始化为一个job,每个job又可分为两个阶段:map阶段和reduce阶段。这两个阶段分别用两个函数来表示。Map函数接收一个<key,value>形式的输入，然后同样产生一个<ey,value>形式的中间输出，Hadoop会负责将所有具有相同中间key值的value集合在一起传递给reduce函数，reduce函数接收...
2019-06-19 12:10:47
455
转载 【hadoop】job提交全过程
一、作业提交过程之 YARN（1）作业提交第0步：client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。第1步：client向RM申请一个作业id。第2步：RM给client返回该job资源的提交路径和作业id。第3步：client提交jar包、切片信息和配置文件到指定...
2019-06-19 11:56:16
167
转载 Storm Trident详解
Trident是基于Storm进行实时留处理的高级抽象，提供了对实时流4的聚集，投影，过滤等操作，从而大大减少了开发Storm程序的工作量。Trident还提供了针对数据库或则其他持久化存储的有状态的，增量的更新操作的原语。 若我们要开发一个对文本中的词频进行统计的程序，使用Storm框架的话我们需要开发三个Storm组件： 1.一个Spout负责收集文本信息并分段，做为sen...
2019-06-19 00:02:04
245
转载 Hadoop工作流引擎之Azkaban与Oozie对比
不多说，直接上干货！http://www.cnblogs.com/zlslch/category/938837.html 目前，市面上最流行的两种Hadoop工作流引擎调度器Azkaban与Oozie。具体，可以进一步看我的博客。 Azkaban概念学习系列http://www.cnblogs.com/zlslch/category/938837.html ...
2019-06-18 23:58:15
213
转载 Azkaban的架构
Azkaban的功能特点（二） 不多说，直接上干货！http://www.cnblogs.com/zlslch/category/938837.htmlAzkaban的架构 Azkaban是一种类似于Oozie的工作流控制引擎，可以用来解决多个Hadoop（或Spark等）离线计算任务之间的依赖关系问题。也可以用其代替crontab来对周期性任务进行调度...
2019-06-18 23:57:22
1563
转载 Azkaban的功能特点
Azkaban是什么?（一） 不多说，直接上干货！http://www.cnblogs.com/zlslch/category/938837.htmlAzkaban的功能特点 它具有如下功能特点： 1、Web用户界面 2、方便上传工作流 3、方便设置任务之间的关系 4、工作流调度 5、认证...
2019-06-18 23:56:30
1176
转载 Azkaban是什么?
不多说，直接上干货！http://www.cnblogs.com/zlslch/category/938837.htmlAzkaban是什么? Azkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。 是linkin的开源项目，开发语言为Java。 Azkaban是由Linkedin开源...
2019-06-18 23:55:36
358
转载 Azkaban2.5安装部署（系统时区设置 + 安装和配置mysql + Azkaban Web Server 安装 + Azkaban Executor Server安装 + Azkaban web
Azkaban是什么?（一）Azkaban的功能特点（二）Azkaban的架构（三）Hadoop工作流引擎之Azkaban与Oozie对比（四） 不多说，直接上干货！http://www.cnblogs.com/zlslch/category/938837.html 准备这四个...
2019-06-18 23:54:49
919
转载 Oozie是什么？
但是，一般用Azkaban了。（具体见我写的另一篇博客：）官网：https://oozie.apache.org/Oozieis a workflow scheduler system tomanage Apache Hadoop jobs.Oozie Workflow jobsareDirected Acyclical Graphs (DAGs)...
2019-06-18 23:51:06
255
转载 Oozie基础入门
前言：因为工作需要用到oozie，但是网上的资料越看越迷茫，经过很大的努力，终于折腾清楚了，这里，做一个总结，帮助后来者更好地进行入门，当然，粗鄙之言，难免疏漏，欢迎交流指正引入：对于我们的工作，可能需要好几个hadoop作业（job）来协作完成，往往一个job的输出会被当做另一个job的输入来使用，这个时候就涉及到了数据流的处理。我们不...
2019-06-18 23:48:55
329
转载 如何创建raid1磁盘阵列
1.我们先通过查看磁盘命令来查看当前可用磁盘信息，如下图 2 2.因为raid1磁盘阵列的利用率是一半，所以在创建raid1磁盘的时候空间必须是要创建所需空间的2倍才可以，如下图分配两块磁盘，在分配的时候要指定分区为raid分区使用fd 3 3.分区完成后同样需要重新读取分区列表，可以看到分区已经成功 4 4.接着就...
2019-06-18 15:57:32
6700
转载 raid1 重装系统教程
raid1 重装系统教程是什么，网友们想重装raid1系统，raid1系统运行稳定，兼容性好，系统功能性能增强,运行效率高，系统运行安全。是非常适合我们的工作的操作系统了!那么就让小编告诉你们raid1 重装系统教程。 系统安装教程： 首先进入主板BIOS，在硬盘模式里，把硬盘的工作模式改为RAID，即开启主板RAID功能。注意要连接两块及以上硬盘，但要为2的倍数。保存CMOS设...
2019-06-18 15:50:52
14863
转载 hadoop、storm和spark的区别、比较
为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvar...
2019-06-17 19:48:16
184
转载 kafka消息存储与partition副本原理
消息的存储原理： 消息的文件存储机制: 前面我们知道了一个 topic 的多个 partition 在物理磁盘上的保存路径，那么我们再来分析日志的存储方式。通过 ll /tmp/kafka-logs/testTopic-0/ 命令找到对应 partition 下的日志内容: kafka 是通过分段的方式将 Log 分为多个 LogSegment，LogSegment 是一个逻...
2019-06-17 18:08:54
361
转载 服务端高并发分布式架构演进之路
1、概述本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。2、基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介绍：分布式系统中的多个模块在不同服务器上部署，即可称为分布式系统，如Tomcat和数据...
2019-06-17 11:07:09
210
转载 java实现八皇后以及n皇后问题详解
今天遇到一个非常有意思的问题就是八皇后问题 ，本人是一名菜鸟所以被难到了；进过学习以及自己琢磨研究出来一套解决方案但是时间复杂度有点高 希望各位大佬帮忙看看有办法解决吗 或者我这有什么错请指出来谢谢//八皇后问题/*在一个8*8的棋盘上放置8个皇后，不允许任何两个皇后在棋盘的同一行、同一列和同一对角线上。1）对8 x 8的二维数组上的某点a[i][j](0<=i,j&l...
2019-06-13 15:53:52
973
转载 【基础算法】回溯法与八皇后问题
在国际象棋中，皇后是最强大的一枚棋子，可以吃掉与其在同一行、列和斜线的敌方棋子。比中国象棋里的车强几百倍，比她那没用的老公更是强的飞起（国王只能前后左右斜线走一格）。上图右边高大的棋子即为皇后。 八皇后问题是这样一个问题：将八个皇后摆在一张8*8的国际象棋棋盘上，使每个皇后都无法吃掉别的皇后，一共有多少种摆法？此问题在1848年由棋手马克斯·贝瑟尔提出，岂止是有年头，简直就是有年头，82年...
2019-06-13 15:41:17
340
转载 Redis 雪崩、穿透、预热、降级
雪崩 Redis缓存雪崩和穿透乍一看好像差不多,概念容易混淆。而解决方案的思路是让失效时间达到均匀的情况。 缓存雪崩是指在我们设置缓存失效时间上时采用了相同的过期时间，导致缓存在某一时刻同时失效。请求全部打到后端数据库，数据库一时请求过大，数据库cpu和IO一时负载过大,造成雪崩。如果不能理解的话，闭上眼睛想象一下，雪山崩塌的场景。 业界有常见的解决方案，没有哪一种方案是...
2019-06-13 15:04:21
1466
转载 weblogic 安装部署详解
0x01 weblogic下载安装去Oracle官网下载Weblogic 10.3.6,选择Generic版本，各版本选择下载地址：http://www.oracle.com/technetwork/middleware/weblogic/downloads/wls-main-097127.htmlWeblogic 10.3.6 下载地址：http://download.oracle.co...
2019-06-13 09:27:54
4021
转载 Maven命令安装jar包到本地仓库
以下为操作步骤(前提是安装好Maven并配置好环境变量)示例① 将需要安装的jar包放入到D盘②打开命令行，输入如下命令mvn install:install-file -Dfile=jar包的位置 -DgroupId=上面的groupId -DartifactId=上面的artifactId -Dversion=上面的version -Dpackaging=jar示例...
2019-06-10 15:20:51
206
转载 KMP算法详解
欢迎加入ifast 交流群，群聊号码：746358408 ,关注的朋友请加群，博客留言信息不带回哈kmp算法又称“看毛片”算法，是一个效率非常高的字符串匹配算法。不过由于其难以理解，所以在很长的一段时间内一直没有搞懂。虽然网上有很多资料，但是鲜见好的博客能简单明了地将其讲清楚。在此，综合网上比较好的几个博客（参见最后），尽自己的努力争取将kmp算法思想和实现讲清楚。kmp算法...
2019-06-08 18:58:19
159
转载 ResourceBundle来读取配置文件及路径问题
欢迎加入ifast 交流群，群聊号码：746358408 ,关注的朋友请加群，博客留言信息不带回哈1.当配置文件在classpath下时：使用ResourceBundle读取配置文件，默认要把配置文件放在classpath下（默认的src目录下）；property.properties和protest.properties :#protest.properties#we...
2019-06-08 18:57:13
992
转载 微信推广带id二维码生成详细解读
欢迎加入ifast 交流群，群聊号码：746358408 ,关注的朋友请加群，博客留言信息不带回哈需求：登录用户产生一个二维码，下一个人扫描这个二维码之后关注公众号，登录之后自动成为第一个用户的粉丝吐槽一把，这个需求很操蛋。。。。但是，操不操蛋那是你程序猿说的不？微信开发本来就相当操蛋了。。。都懂得，文档又少，限制又多，傻逼的很。。。。首先看下微信官方的文档，我们先了解...
2019-06-08 18:54:42
3262
转载 在idea中执行scala程序是出现问题
Error:scalac: Error: Could not find an output directory for D:\work\ideawork\SDKBehaviorSpark\src\main\scala\com\bonree\sdk\behavior\executor\day\SingleDayActiveUserExecutor.scala in List((D:\work\id...
2019-06-07 16:47:09
952
转载 linux安装maven及配置环境变量 配图
来源：https://www.cnblogs.com/kuoAT/p/7560267.htmlMaven 3.5.0maven安装和环境变量的配置1 下载 maven链接：http://pan.baidu.com/s/1qXXjXfe密码：r92r2 解压安装包tar zvxfapache-maven-3.5.0-bin.tar.gz3 配置maven环境变量...
2019-06-06 17:51:51
1322
转载 阿里开源Zeus云梯分布式作业调度平台安装教程
来源：https://bbs.aliyun.com/simple/t338991.html第一步：软件包的下载[HTML]纯文本查看复制代码apache-tomcat-7.0.69.tar.gz 下载URL：http://mirror.bit.edu.cn/apache/tomcat/tomcat-7/v7.0.69/bin/apache-maven...
2019-06-06 17:39:55
1052
转载 Linux下的压缩解压缩命令详解及实例
来源：https://www.cnblogs.com/zdz8207/p/3765604.htmlLinux下的压缩解压缩命令详解及实例实例：压缩服务器上当前目录的内容为xxx.zip文件zip -r xxx.zip ./*解压zip文件到当前目录unzip filename.zip============================另：有些服务器没有安装zip包执...
2019-06-06 17:14:55
165
转载 ParseException line 20:7 Failed to recognize predicate 'timestamp'. Failed rule: 'identifier' in tab
今天在执行 hive ql 时，突然出现了这个错误，之前没遇到过。就自己在网上找原因，看了几篇回复都是不搭边的，都不想继续了，不过也给自己了个思路，有一篇英文贴是有效的。就尝试了修改操作，SET hive.support.sql11.reserved.keywords=false;这个设置就是表明:建表的字段名，最好不要使用保留字。如果已经使用了，执行sq...
2019-06-05 23:16:21
380
转载 hive启动报错：Found class jline.Terminal, but interface was expected
[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expectedat jline.TerminalFactory.crea...
2019-06-05 23:01:33
182
转载 RUNTIME / 微信公众号开发—主动向用户发送消息
来源：https://gitee.com/lxycx_xc/codes/mvesy65pt4lraw3u8x7gc81模板消息：需要先在微信公众号管理后台申请该功能模板，拿到模板ID和模板上对应的字段package msg;import java.io.IOException;import java.util.HashMap;import java.util.Map;imp...
2019-06-05 17:26:06
2032
转载 Emacs和Vim：神的编辑器和编辑器之神
来源：https://blog.csdn.net/qq_15571091/article/details/48662797在这个蔚蓝色的星球上，流传着两大神器的传说：据说Emacs是神的编辑器，而Vim是编辑器之神。一些人勇敢地拾起了Vim或Emacs，却发现学习曲线陡峭而漫长，还是有一些人留下来了，坚定地守护着这两大神器。一些说葡萄太酸的人想离开又不甘心，总是问：它们到底神在哪里啊?0....
2019-06-05 10:56:27
249
转载 Hbase常用Shell命令
status 查看系统状态hbase(main):010:0> status1 active master, 0 backup masters, 4 servers, 0 dead, 6.5000 average loadversion 查看版本号hbase(main):011:0> version1.2.0-cdh5.7.2, rUnknown, Fri Jul ...
2019-06-04 23:36:40
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人