echo的博客

原创 远程调试、git相关操作及初工作的心得体会（git中的相关问题及解决方法）

服务器端的bootstrap.sh 或者 start.sh 需要加上调试参数-Xdebug -Xrunjdwp:transport=dt_socket,address=8883,server=y,suspend=n 其中8883是服务器的调试端口，需要和服务的启动端口例如8880不一致才行。eclipse端：当两者都配置完即可进行远程调试。好多技巧都已经忘记了...

原创 java面试题目整理

1、Java中int占多少个基本字节，有哪几个基本类型？int占4个字节，32位，8个基本类型包括四种整数类型(byte、short、int、long)；两种浮点数类型(float、double)；一种字符类型（char）；一种布尔类型（boolean）2、java面向对象的特征？几多抽风 （继承，多态，抽象，封装）3、java的装箱和拆箱因为面向对象的语言的基本特征是封装，所以...

原创 python

参考链接    https://www.cnblogs.com/jin-xin/p/9076242.html pass  continue  break   三个的区别注意多引号不光是注释 如果是在最开始的多行引号就是注释，如果是在里面的多行引号则是换行符while else：当 while 循环被break 打断的时候 else不会被执行%%只是单纯的显示%Unico...

原创 企业级大数据平台构建

edt搭建环境要求操作系统均为CentOS6.4、JDK版本为1.7、Python版本为2.6。 注意创建虚拟机的时候要多给些内存最好80G或者更大，因为默认情况下可能只会分配20G1. 搭建本地yum源仓库（1）    下载离线安装包因为是离线安装，所以我们首先需要下载Ambari和HDP的离线安装包。这里使用的是Ambari2.4...

转载 使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...

原创 ElasticSearch+ElasticSearch的搜房网实战（在windows搭建的es分布式环境）

可以参考windows环境下ElasticSearch5以上版本安装head插件  两个重点的链接！！！！点击打开链接                点击打开链接           es和head插件分属于两个不同的东西，两个东西的访问时有跨域的问题，需要有跨域问题的一些配置。elasticsearch-5.6.5\config\elasticsearch.yml的配置master的配置http...

原创 从天气项目看Spring Cloud微服务治理 中遇到的问题和知识点总结

要记住的几个注解@SpringBootApplication这是程序的入口@Configuration@Bean这是需要配置文件所用到的注解@RestController@RequestMapping("/weather")这是 controller层常用的注解@Service这是service层常用的注解...

转载 杂记

java类中serialversionuid 作用 是什么?举个例子说明serialVersionUID适用于Java的序列化机制。简单来说，Java的序列化机制是通过判断类的serialVersionUID来验证版本一致性的。在进行反序列化时，JVM会把传来的字节流中的serialVersionUID与本地相应实体类的serialVersionUID进行比较，如果相同就认为是一致的，可以进行反序...

原创 spark streaming 学习（和flume结合+和kafka 的结合）

spark streaming 是实时计算spark core 之类的涉及到rdd的是离线计算所以说spark即是实时计算，又有离线计算spark streaming 的第一个例子利用 nc -lk 8888 在192.168.235.128的8888端口开启一个输入消息的应用在IDEA上建立一个spark streaming的程序package com.wxa.spark.fourimpor...

原创 spark结合hive

如果mysql是安装在windows上的话，hive在Linux上，要保证两者能通信的话需要改变windows上的字符集形式为latin1方法如下alter database hive character set latin1；话不多说码代码（hive shell里面        机器只启动了hdfs没有启动yarn所以没有启动hadoop的mapreduce程序）create table pe...

原创 再探spark之二

spark的cache缓存其中的方法 （保存在内存中） .cache()  //进行缓存.unpresist(true） //对资源进行释放spark的checkpoint机制（保存在hdfs中）（checkpoint和cache都属于transformation 需要action才能执行）sc.setCheckpointDir("hdfs://hadoop01:9000/ck2018523")v...

原创 再探spark之一（复习之前）加spark如何实现远程调试代码

没启动spark的话。可以通过 sbin/start-all.sh 来启动spark按crtl+c来终止任务，而不是ctrl+zspark-shell --master spark://192.168.235.128:7077  连接到spark上 spark-shell --master spark://192.168.235.128:7077 --total-executor-cores 3 ...

原创 redis 学习之一（数据结构）

通用方法            incr decr incrby decrbyredis string方法    get set mset mget setex expire保存对象的两种方式 //保存序列化之后的对象 jedis.set("user:liudehua:obj".getBytes(), getBytesByProduct(person) ); //j...

转载 java爬虫的几个实例

单个网页爬取package redis.list;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.select.Elements;/** * 访问单个新闻页： * http://www.huxiu.com/article/102062/1.html 需要：标题，内容 */publi...

原创 storm+kafka的实战

分为本地模式如果是本地的话可以直接将代码运行起来如果是在集群上跑的话，最好将打了包的jar传上来，这样可以防止一些没有的jar包上面本身就有。需要注意的是 provide是将包不打进来                    compile是默认的打包方式，是将包都打进来storm jar wxaStormwordcount-1.0.jar  cn.itcast.storm.kafkaAndStor...

原创 再探kafka+flume实战

命令启动zookeeper启动两台机器上的kafakanohup kafka-server-start.sh  $KAFKA_HOME/config/server.properties &启动kafka的消费端kafka-console-consumer.sh --zookeeper hadoop01:2181 --topic test启动flume端(kafka是两个机器都要启动，flu...

原创 IDEA用法总结之三（以及总结今天用IDEA实现spring+springmvc+mongodb的后台项目）

    在IDEA上使用IDEA的时候：先创建一个maven-archtype-webapp的maven然后再在项目里面新建一个 resouces  ，然后标记为Resource root；新建一个名为java的directory，然后将其标为Sources root  将configfile例如springmvc.xml,applicationContext.xml放到Sources root ...

转载 IDEA总结之二（用IDEA新建一个spring结构的web项目）

先建一个普通的web项目，如果不会的话可以参考之前的IDEA总结之一（如何新建 普通的maven +web项目以及如何运行mavenweb项目）点击打开链接然后右键项目 Add Framwork Support...这里也说一下如何快速的新建springboot点击New Project后，选择Spring Initializr点击打开链接...

转载 IDEA总结之一（如何新建 普通的maven +web项目以及如何运行mavenweb项目）

新建maven web 项目的时候，在新建maven的时候选择 maven-archtype-web就可以了运行mavenweb项目的时候用下面的网址 需要注意的是这里用的不是pom里配置的tomcat 而是自己配置的本地的tomcat参考下面的链接https://www.cnblogs.com/Fly-Bob/p/7240153.html...

原创 pom文件范例

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0....

原创 windows服务的一些命令（安装mongdb时候遇到的）

SC Delete 服务名 可以删除服务CMD命令行中，文件名有空格怎么输入？把文件名用"" 引号引起来就可以了，例如"c:\Program Files"。用来启动服务mongod --config "D:\Program Files\MongoDB\Server\3.4\conf\mongodb.config"参考https://www.cnblogs.com/khoe/p/7457345....

原创 kafka 和storm Java api编程中 pom文件范例

要注意的是运行的时候可能会遇到日志文件jar包重复的情况，这里要用到<exclusions>排除如下 <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifact...

原创 kafka java api

kafka java api生产者package com.wxa.storm.kafka;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import java.util.Properties;import ja...

原创 再探kafka之二！！（重要！！）

启动kafka！！！！！！！！！！（通过kafka-server-start.sh  $KAFKA_HOME/config/server.properties启动）kafka是要先启动的！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！（重要的事情说三遍）telnet不通9092不一定是开不开放端口的问题有可能是端口上的程序没有启动的原因，只有先启动了程序才能判断这个端口是...

原创 linux 学的一些需要记得命令

history命令   可以用！加上命令的行号，执行历史纪录的命令more命令查看文件中，f命令向下翻页，b命令向上翻页cd ~ 快速回家cd - 回到上次的位置ctr +c 不想删可用来中止换行软连接 相当于新建了一个文件，硬连接相当于新建了一个引用CentOS 是一个基于Red Hat Linux 提供的可自由使用源代码的企业级Linux发...

原创 redis相关

https://blog.csdn.net/jinwufeiyang/article/details/52156817https://www.cnblogs.com/springlight/p/6288902.html config set requirepass "123" 设置redis的密码 config get requirepass （下面的链接）Hbase中构造过滤器 https://...

原创 关于telnet的一些事情

windows要实现telnet要打开一些服务才行Linux也需要实现某些服务才行，要先安装telnet和telnet-server服务，然后再在/etc/xinetd.d/telnet将禁用个屏蔽掉就可以了netstat -lnp|grep 2181 表示端口被什么进程所占用vi /etc/sysconfig/iptables...

原创 Hive学习笔记

beeline可以用!connect jdbc:hive2://localhost:10000 用来连接hiveserver2启动的hive服务建表操作CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name    [(col_name data_type [COMMENT col_comment], ...)]    [COMMENT table_co...

原创 storm学习之四

原创 再探kafka之一

启动kafka！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！kafka是要先启动的！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！下面是server.properties的配置文件 server.properties的配置文件#broker的全局唯一编号，不能重复broker.id=0#用来监听链接的端口，produce...

原创 hbase学习之二 java api

这里贴一下自己写的调用hbase的java api程序package cn.itcast_01_hbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.C...

原创 总结之一

spark和kafka是用scala写的storm是用Clojure写的storm分为本地和集群模式，其中本地模式的代码，不用在windows上安装storm直接就可以用工具IDEA就可以跑起来storm可以看作是一个和hadoop平级的一个架构，并不需要依赖于Hadoop...

转载 hbase学习之一

hmaster不做数据管理，而是让zk来管理关于这部分的学习可以参考有道云笔记里面的hbase文档点击打开链接

原创 storm学习之三

1、集群如何启动，任务如何执行？ java -server nimubs，supervisor client--->createTopology(序列化)--->提交jar到nimbuinbox--->nimbus分配任务(task总数/worker数)---写到zk。 启动worker<------识别自己的任务<----supervisor---...

原创 storm学习之二

storm流程分析Storm组件本地目录树上面的work中的pids下面有很多的进程，其中第一个进程是work的进程号。其余的进程是由work所起的进程Storm zookeeper目录树

原创 storm学习之一

配置storm.yaml(文件如下配置） storm.zookeeper.servers:     - "hadoop01"     - "hadoop02"nimbus.host: "hadoop01"nimbus.childopts: "-Xmx1024m"ui.port: 8080ui.childopts: "-Xmx768m"supervisor.childopts: "-Xmx768m&q

原创 sqoop安装及初体验（hive配置mysql服务器）

先要安装mysql服务centos6.5可以直接用yum下载具体可参考https://mp.csdn.net/postedit/80139841这篇文章----------------------------------------------------------------------------------------------------------------------------...

转载 CentOS6.5安装与配置Mysql数据库（转）

参考这个链接点击打开链接https://blog.csdn.net/bingjianit/article/details/54384299

原创 hive sql 基本练习

表的结构create table student(Sno int,Sname string,Sex string,Sage int,Sdept string)                    row format delimited fields terminated by ','stored as textfile;create table course(Cno int,Cname str...

转载 关于hive中的各种join

准备数据1,a2,b3,c4,d7,y8,u2,bb3,cc7,yy9,pp建表：create table a(id int,name string)row format delimited fields terminated by ',';create table b(id int,name string)row format delimited fields terminated by ','...