2018年06月_小管01

07月 06月 05月 04月

原创 Linux上Eclipse集成hadoop文档详解

Eclipse运行wordcount文档 1.进入Ecliose目录启动eclipsea) 命令启动方式：./eclipseb) 图形启动方式：直接点击eclipse10.进入后配置Hadoop安装目录a) window-》preference-》hadoop Map/Reduce-》Hadoop installation directory 2.配置Map/Reduce视图a) ...

2018-06-30 11:59:04 1066 1

1、客户端发送请求，调用DistributedFileSystem API的open方法发送请求到Namenode，获得block的位置信息，因为真正的block是存在Datanode节点上的，而namenode里存放了block位置信息的元数据。2、Namenode返回所有block的位置信息，并将这些信息返回给客户端。3、客户端拿到block的位置信息后调用FSDataInputStream ...

2018-06-29 17:49:14 1735

原创 HDFS实现分布式存储--shell命令详解

一、HDFS概念优势：存储超大文件标准流式访问：“一次写入，多次读取” 运行在廉价的商用机器集群上不足：不能满足低延迟的数据访问无法高效存储大量小文件暂时不支持用户写入及随意修改文件 NameNode HDFS主节点管理文件系统的命名空间（元数据）储存文件的元数据，如文件名，文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件块列表和块所在的D...

2018-06-29 17:31:01 699

原创 Hadoop入门及安装

一、Hadoop来源：Google 三大论文 MapReduce / GFS / BigTable 1、Hadoop Common：为其他Hadoop模块提供基础设施 2、Hadoop HDFS （Hadoop Distributed File System）一个高可靠、高吞吐量的分布式文件系统 3、Hadoop MapReduce 一个分布式的离线并行计算框架 4、Had...

2018-06-28 18:27:55 323

原创 Linux04——软件安装

Linux第四章课堂笔记一、防火墙关闭防火墙：分为两步：首先临时关闭： service iptables stop 永久关闭： chkconfig iptables off 启动分两步：和关闭顺序相同 service iptables start chkconfig iptables on [root@bdqn01 ~]# service iptables 用...

2018-06-25 09:29:06 186

原创 jvm垃圾收集策略与算法

垃圾收集策略与算法程序计数器、虚拟机栈、本地方法栈随线程而生，也随线程而灭；栈帧随着方法的开始而入栈，随着方法的结束而出栈。这几个区域的内存分配和回收都具有确定性，在这几个区域内不需要过多考虑回收的问题，因为方法结束或者线程结束时，内存自然就跟随着回收了。而对于Java 堆和方法区，我们只有在程序运行期间才能知道会创建哪些对象，这部分内存的分配和回收都是动态的，垃圾收集器所关注的正是这部分内存。判...

2018-06-24 13:02:02 172

原创项目环境搭建——SVN版本控制

服务端安装SVN====(CentOS) 1. yum install subversion 2.svn的相关配置 1 创建一个svn仓库 (所有的项目存放与管理) mkdir -p /svndata/SLSaleSystem 2 创建项目 ...

2018-06-23 16:04:20 181

原创关于区块链那些事

本文将以一问一答的方式给大家科普。PS：区块链是比特币吗？区块链解决了什么问题吗？金融领域为什么要使用区块链技术？...这些问题本文将会一一解答。区块链/比特币到底是谁发明的？比特币是一个自称为“中本聪”的人或者团队创造的，并且在比特币项目初期就已经完全退出了这个项目。“中本聪”是日本人的可能性非常小，因为他过去的电子邮件中可以推测出，他应该是一个以英语为母语的人。此外比特币创造者...

2018-06-23 08:55:39 1149

原创 Linux03

Linux第三章课堂笔记分区类型：主分区+扩展分区 <=4 主分区：存放系统及系统配置文件等。。扩展分区：扩展分区，并不能存储任何数据，主要用于对磁盘进行分区的扩展逻辑分区：实质存储数据及软件的地方。 sda： s：硬盘类型 d：disk a：系统第一块磁盘管理命令：fdisk 使用方法： 1、查看当前磁盘及分区信息 fdisk -l 2、对已存在磁盘...

2018-06-23 08:46:16 282

原创 nginx如何实现高性能和可扩展性

NGINX的整体架构的特点是由一组进程协同工作：主进程：负责执行特权操作，如阅读配置文件、绑定套接字、创建/通知协调（Signalling）子进程。工作进程：负责接收和处理连接请求，读取和写入磁盘，并与上游服务器通信。当NGINX处于活跃状态时，只有工作进程是忙碌的。缓存加载器进程：负责将磁盘高速缓存加载到内存中。这个进程在启动时运行后随即退出。缓存管理器进程：负责整理磁盘缓存的数据保证其不越界。...

2018-06-22 16:47:06 1246 1

原创 Linux学习02

Linux第二章笔记一、用户及用户组管理命令用户 UID 0标识root用户普通用户通常从UID 500开始用户名和UID信息通常储存在/etc/passwd文件中组用户指派给组用户组名称和GID保存在/etc/group中同一个组中的所有用户能共享属于这个组的文件命令名称：useradd 语法：us...

2018-06-22 16:27:28 173

原创 Linux学习01

Linux第一章一、网络设置网络设置三要素： IP: --》将VMware中--》编辑--》虚拟网络编辑器--》vmnet8 中的ip最后一组改为 11 - 255之间任意数字网关：在虚拟机中一般为网络IP最后一组改为 2 DNS：114.114.114.114 子网掩码：255.255.255.0 重启网络命令：service network restart 查看IP： if...

2018-06-21 16:13:44 323

转载 Nginx面试中最常见的18道题

Nginx的并发能力在同类型网页服务器中的表现，相对而言是比较好的，因此受到了很多企业的青睐，我国使用Nginx网站的知名用户包括腾讯、淘宝、百度、京东、新浪、网易等等。Nginx是网页服务器运维人员必备技能之一，下面为大家整理了一些比较常见的Nginx相关面试题，仅供参考：1、请解释一下什么是Nginx?Nginx是一个web服务器和反向代理服务器，用于HTTP、HTTPS、SMTP、POP3和...

2018-06-21 15:48:29 615

原创 CentOS7常用软件的安装（JDK+Tomcat+Nginx+Redis+MySQL）

JDK安装一：准备工作1.1、版本号：dk-8u121-641.2、检查是否存在JDKjava -versionrpm -qa | grep java1.3、若存在则卸载rpm -e --nodeps java.. .. .. ..二：安装步骤解压缩JDKtar -zxvf jdk_8u121_64.tar.gz -C /home/bshf/devTools三：软件配置3.1、配置环境变量vim ...

2018-06-15 09:02:36 666

转载区块链基于电商的发展

区块链技术的发展现状 2008年10月31日，中本聪（Satoshi Nakamoto）的比特币白皮书正式发布，标志着基于区块链技术的第一个应用比特币“一个去中心化的电子现金系统”正式诞生，这一应用的诞生向世人展示了区块链技术的巨大价值和潜力。而提出了具有图灵完备性智能合约概念的“以太坊”则将区块链的应用推向了另一个高度，任何个人或组织都可以基于“以太坊”的智能合约非常方便的发行数字资产...

2018-06-11 11:39:02 4423

翻译使用Tengine+Lua+GraphicsMagick实现图片自动裁剪缩放

使用Tengine+Lua+GraphicsMagick实现图片自动裁剪缩放—爱旅行项目随着互联网的快速发展、需求频繁变更、内容数量的俱增、时间的持续增长，图片数量也会越来越多。在实际需求中，会出现在若干个页面或同一个页面不同位置，展示同一条信息以及其缩略图。此时若使用CSS 控制图片显示的大小，对于一些与该位置不成比例的图片，缩小后就会出现图片变形，并且也不可能让 UI 对所有的图片进行...

2018-06-04 09:40:03 566 1

java 通过模板生成 xml，发送报文

2022-06-15

局域网多机共享鼠标键盘，编译了linux和win两个版本

你的工作台有两个电脑，你把鼠标从左边电脑移动到屏幕最右侧，光标就会跨过屏幕到右边一个电脑，键盘按键也开始相应另外一个电脑，一套鼠标键盘控制多个电脑

2018-06-11

SpringBoot

在当今Java EE 开发中，Spring 框架是当之无愧的王者。而Spring Boot 是Spring 主推的基于“习惯优于配置”的原则，让你能够快速搭建应用的框架，从而使得Java EE 开发变得异常简单。 JavaEE开发的颠覆者：Spring Boot实战从Spring 基础、Spring MVC 基础讲起，从而无难度地引入Spring Boot 的学习。涵盖使用Spring Boot 进行Java EE 开发的绝大数应用场景，包含：Web 开发、数据访问、安全控制、批处理、异步消息、系统集成、开发与部署、应用监控、分布式系统开发等

2018-06-04

代码自动生成器

根据数据库表结构SQL脚本文件 ,自动生成JAVA代码. 如 ,相应的: JAVA实体、SQL语句、HTML标签和能生成测试数据的工具类.还额外增加了纯Map类型的SQL操作 , 因为JSON转Map是非常容易且不容易丢失数据的. 我们都知道，一个项目从开发、测试、上线到维护，需要持续几年，而最初生成的代码质量好与坏，也将影响项目好几年。对于任何项目而言，SQL语句的健康性、完整性、可读性，都是决定着代码质量或项目质量的最核心环节之一。然而，当下比较流行的，绝大多数MySQL、iBatis开源代码生成器，只能生成动态SQL语句和几个简单粗糙的增删改查方法。对于追求高质量代码的项目而言，都希望拥有高端的标准SQL语句，而不是相对低端的动态SQL语句。问题是，由于开发初期大量使用了开源代码生成器产生的低端动态SQL语句，再加上其他开发人员大量拷贝代码等原因，使得项目质量越来越不尽如人意。到了开发中后期，就算设法改进也是无可奈何的。本网站就是为了解决这类问题，以生成高质量的标准SQL语句和相关代码为目的而建设的。相信，在开发初期导入高质量的代码，将会对项目起到良好的、长久的积极作用与影响。

2018-05-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

一笑奈何