_哲-CSDN博客

原创 jps出现-- process information unavailable解决办法

进程没有被正常结束导致原有进程变为-- process information unavailable这样的空值，可以使用rm -rf /tmp/hsperfdata_* 进行清理出现这个问题的原因是因为进程虽然在内存中关闭了，但是Linux还会在/tmp下寻找这些临时文件，而此时临时文件并没有没正常删除前段时间也是因为开着虚拟机没插电源电量用完关机了然后出现了这个问题,然后启动Hadoo...

2019-04-24 21:50:08 1381

原创 Python爬取智联招聘信息

代码如下import requestsimport jsonfrom lxml import etreeheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,' ' like Gecko) Chrome...

2019-04-08 22:04:20 579

关于hadoop无法启动namenode的问题今天在启动hadoop时发现所有服务都可以启动，唯独NameNode节点启动不来.查看log日志后发现启动报如下错误java.io.IOException: Gap in transactions. Expected to be able to read up until at least txid 1365 but unable to find...

2019-04-02 00:45:36 2092

原创聊一聊Zookeeper

zookeeper是一个分布式协调服务框架,是用来解决分布式集群的应用程序一致性问题,提供了类似于文件系统的目录树形式的数据存储,并且可以对树中的节点进行管理,从而用来监控和维护我们存储的数据的状态变化,从而实现基于数据的集群管理zookeeper的每一个节点被称为znode,具有文件和目录两种特点,具有原子性操作,节点中的存储大小有限制,最大为1M,并且是通过路径引用的,路径必须是绝对的,每个...

2018-11-21 17:19:19 250

原创 SQL面试题(持续更新)

一.现有表TBStudentScore,定义如下create table TBStudentScore{ student varchar(30), course varchar(10), score integer}表内容:1.韩梅梅的数学成绩登记出错,改为91UPDATE tbstudentscore SET score=91 WHERE student='韩梅梅' AN...

2018-11-20 00:13:22 265

原创对比scala和java编写的spark wordcount程序

使用scala编写spark wordcount程序import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { //设置spark的配置文件信息 val sparkConf: SparkConf = new Spa...

2018-11-04 22:51:56 294

原创使用Akka实现一个简易版的spark通信框架

架构图具体代码Master类import akka.actor.{Actor, ActorSystem, Props}import com.typesafe.config.ConfigFactoryimport com.zhe.rpc.{HeartBeat, RegisteredMessage, WorkerInfo}import scala.concurrent.duration...

2018-11-02 23:00:25 193

原创 Hive的调优

hive调优Fetch抓取(Hive可以避免进行MapReduce)Hive中对某些情况的查询可以不必使用MapReduce计算.例如:SELECT * FROM xxx;在这种情况下,Hive可以简单的读取xxx对应的存储目录下的文件,然后输出查询结果到控制台.在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老...

2018-10-22 23:28:12 169

原创浅谈MapReduce

MapReduce的原理MapReduce是一个分布式计算模型,解决海量数据的计算问题将整个并行计算过程抽象成两个函数map()和reduce()用户只需要实现map()和reduce()函数即可实现分布式计算MapReduce的核心思想是分治map负责分,将一个大的任务分成若干个简单的小任务并行处理,前提是这些小文件可以并行计算,并且之间几乎没有依赖关系reduce负责合,将map处理...

2018-10-22 23:23:22 286

原创 hdfs读写流程

HDFS文件写入过程1.client发起文件上传请求通过RPC和NameNode建立连接,NameNode检查目标文件是否存在,检查父目录是否存在,检查用户是否有权限,返回是否可以上传2.client请求第一个block该传输到那些DataNode服务器上3.NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配,返回可用的DataNode地址如:A,B,C注:hado...

2018-10-12 00:51:09 131

原创使用windows作为客户端执行hdfs文件操作的时候抛winutils.exe解决方法

今天在使用windows作为客户端执行hdfs文件操作的时候抛了如下异常解决办法1.将你在Linux中使用的hadoop安装包拷贝到windows下一个没有中文没有空格的路径下面去2.在windows上面配置hadoop的环境变量3.将lib/native下的hadoop.dll文件放到 C:\Windows\System32 路径下4.关闭windows重启...

2018-10-12 00:47:30 893

原创了解Zookeeper

相信很多人都用过Zookeerper,但是你真的了解Zookeeper是什么吗?如果面试官让你给他讲一下Zookeeper,你能讲到哪一步呢?前几天,总结了一下自己用Zookeeper的经历,搭建过Zookeeper集群,项目中使用Zookeeper作为Dubbo的注册中心,另外在搭建solrCloud的时候使用过Zookeeper集中管理配置文件、集群管理(选举主从). 但要说Zookeepe...

2018-10-09 01:27:55 212

原创使用VMware启动虚拟机无法打开vmx文件解决办法

今天在使用从别人那里克隆的虚拟机的时候出现了一点小问题VmWare加载虚拟机开启虚拟机的时候出现了错误提示解决方案使用Notepad++或者其他编辑软件打开.vmx为后缀的文件将文件中的virtualHW.version=“14” 改为10或者改为你当前使用的VMware的版本,这里我改成了12再次启动发现这次错误信息变成了这样这里提示的就已经很直白了,点击虚拟机-&gt...

2018-10-09 00:11:12 48593 3

原创 JDK并发包的使用

ReentrantLock 可重入锁可重入锁是synchronized的升级版, 提供了更多的场景, 使用比较方便.ReentrantLock 有以下特性和方法:可重入 reentrantLock.lock() .unlock()可中断 reentrantLock.lockInterruptibly(); 通过这个方法加的锁是可以被中断的.可限时 reentrantLoc...

2018-10-07 01:13:25 152

原创使用redis实现分布式锁

模拟秒杀代码import com.wechatorder.sell.service.SeckillService;import lombok.extern.slf4j.Slf4j;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.web.bind.annotati...

2018-10-07 01:10:34 210

原创 SolrCloud的搭建和使用

1.solrCloud基本概念1.1 什么是solrCloudSlrCloud(solr集群)是Solr提供的分布式搜索方案。当你需要大规模，容错，分布式索引和检索能力时使用SolrCloud。当索引量很大，搜索请求并发很高时，同样需要使用SolrCloud来满足这些需求。不过当一个系统的索引数据量少的时候是没有必要使用SolrCloud的。1.2 solrCloud的结构So...

2018-08-29 00:07:01 384

原创 redis总结

1. redis简介redis 通常被称为数据结构服务器,是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。 2. redis的特点redis由于将数据存放在内存中,读写效率非常高丰富的数据类型 – string(字符串)，hash(哈希)，list(列表)，set(集合)及zset(sorted set: 有序集合)。 redis可以很方便的将数据移植到...

2018-08-27 21:31:42 146

原创将自己的Web项目部署到linux服务器上

工具CentOS6.9,Xmanager,VMvare12软件包jdk-7u75-linux-x64.tar.gz MySQL-5.6.25-1.el6.x86_64.rpm-bundle.tar apache-tomcat-7.0.57.tar.gz操作1.首先确保Xshell能够连接虚拟机2.查看系统是否自带openjdk如果不是root用户需要切换到roo...

2018-08-19 00:16:36 3069 1

原创使用XShell连接虚拟机上的CentOS出现的一些问题及解决方案

我在使用Xshell5连接虚拟机的时候出现了这个问题用了很多方法都没有解决,这时候就在想是不是软件的问题,然后我换成了Xmanager,问题一下就解决了,Xmanager下载地址,带注册码下载地址下载解压后点击并复制下面的注册码进行安装即可如果出现的是这个问题解决方案如下这里我用的是VMware11和CentOS6.9 如果使用的是桥接模式,就吧虚拟机的ip调成和主机...

2018-08-16 22:38:10 1623

qq_42385284的博客