- 博客(68)
- 资源 (6)
- 收藏
- 关注
原创 远程调试、git相关操作及初工作的心得体会(git中的相关问题及解决方法)
服务器端的bootstrap.sh 或者 start.sh 需要加上调试参数-Xdebug -Xrunjdwp:transport=dt_socket,address=8883,server=y,suspend=n 其中8883是服务器的调试端口,需要和服务的启动端口例如8880不一致才行。eclipse端:当两者都配置完即可进行远程调试。好多技巧都已经忘记了...
2019-08-15 13:48:15 236
原创 java面试题目整理
1、Java中int占多少个基本字节,有哪几个基本类型?int占4个字节,32位,8个基本类型包括四种整数类型(byte、short、int、long);两种浮点数类型(float、double);一种字符类型(char);一种布尔类型(boolean)2、java面向对象的特征?几多抽风 (继承,多态,抽象,封装)3、java的装箱和拆箱因为面向对象的语言的基本特征是封装,所以...
2019-06-09 17:23:47 490
原创 python
参考链接 https://www.cnblogs.com/jin-xin/p/9076242.html pass continue break 三个的区别注意多引号不光是注释 如果是在最开始的多行引号就是注释,如果是在里面的多行引号则是换行符while else:当 while 循环被break 打断的时候 else不会被执行%%只是单纯的显示%Unico...
2018-09-07 19:59:34 918 1
原创 企业级大数据平台构建
edt搭建环境要求操作系统均为CentOS6.4、JDK版本为1.7、Python版本为2.6。 注意创建虚拟机的时候要多给些内存最好80G或者更大,因为默认情况下可能只会分配20G1. 搭建本地yum源仓库(1)    下载离线安装包因为是离线安装,所以我们首先需要下载Ambari和HDP的离线安装包。这里使用的是Ambari2.4...
2018-07-18 08:47:33 2449
转载 使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...
2018-07-18 08:44:07 142
原创 ElasticSearch+ElasticSearch的搜房网实战(在windows搭建的es分布式环境)
可以参考windows环境下ElasticSearch5以上版本安装head插件 两个重点的链接!!!!点击打开链接 点击打开链接 es和head插件分属于两个不同的东西,两个东西的访问时有跨域的问题,需要有跨域问题的一些配置。elasticsearch-5.6.5\config\elasticsearch.yml的配置master的配置http...
2018-06-16 21:37:37 1950 1
原创 从天气项目看Spring Cloud微服务治理 中遇到的问题和知识点总结
要记住的几个注解@SpringBootApplication这是程序的入口@Configuration@Bean这是需要配置文件所用到的注解@RestController@RequestMapping("/weather")这是 controller层常用的注解@Service这是service层常用的注解...
2018-06-13 21:30:40 1532
转载 杂记
java类中serialversionuid 作用 是什么?举个例子说明serialVersionUID适用于Java的序列化机制。简单来说,Java的序列化机制是通过判断类的serialVersionUID来验证版本一致性的。在进行反序列化时,JVM会把传来的字节流中的serialVersionUID与本地相应实体类的serialVersionUID进行比较,如果相同就认为是一致的,可以进行反序...
2018-06-04 19:22:33 167
原创 spark streaming 学习(和flume结合+和kafka 的结合)
spark streaming 是实时计算spark core 之类的涉及到rdd的是离线计算所以说spark即是实时计算,又有离线计算spark streaming 的第一个例子利用 nc -lk 8888 在192.168.235.128的8888端口开启一个输入消息的应用在IDEA上建立一个spark streaming的程序package com.wxa.spark.fourimpor...
2018-05-27 14:56:15 1100
原创 spark结合hive
如果mysql是安装在windows上的话,hive在Linux上,要保证两者能通信的话需要改变windows上的字符集形式为latin1方法如下alter database hive character set latin1;话不多说码代码(hive shell里面 机器只启动了hdfs没有启动yarn所以没有启动hadoop的mapreduce程序)create table pe...
2018-05-27 10:16:06 688
原创 再探spark之二
spark的cache缓存其中的方法 (保存在内存中) .cache() //进行缓存.unpresist(true) //对资源进行释放spark的checkpoint机制(保存在hdfs中)(checkpoint和cache都属于transformation 需要action才能执行)sc.setCheckpointDir("hdfs://hadoop01:9000/ck2018523")v...
2018-05-24 17:25:08 465
原创 再探spark之一(复习之前)加spark如何实现远程调试代码
没启动spark的话。可以通过 sbin/start-all.sh 来启动spark按crtl+c来终止任务,而不是ctrl+zspark-shell --master spark://192.168.235.128:7077 连接到spark上 spark-shell --master spark://192.168.235.128:7077 --total-executor-cores 3 ...
2018-05-15 18:30:26 592
原创 redis 学习之一(数据结构)
通用方法 incr decr incrby decrbyredis string方法 get set mset mget setex expire保存对象的两种方式 //保存序列化之后的对象 jedis.set("user:liudehua:obj".getBytes(), getBytesByProduct(person) ); //j...
2018-05-13 16:58:58 287
转载 java爬虫的几个实例
单个网页爬取package redis.list;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.select.Elements;/** * 访问单个新闻页: * http://www.huxiu.com/article/102062/1.html 需要:标题,内容 */publi...
2018-05-13 15:57:53 4807 2
原创 storm+kafka的实战
分为本地模式如果是本地的话可以直接将代码运行起来如果是在集群上跑的话,最好将打了包的jar传上来,这样可以防止一些没有的jar包上面本身就有。需要注意的是 provide是将包不打进来 compile是默认的打包方式,是将包都打进来storm jar wxaStormwordcount-1.0.jar cn.itcast.storm.kafkaAndStor...
2018-05-10 17:36:19 688
原创 再探kafka+flume实战
命令启动zookeeper启动两台机器上的kafakanohup kafka-server-start.sh $KAFKA_HOME/config/server.properties &启动kafka的消费端kafka-console-consumer.sh --zookeeper hadoop01:2181 --topic test启动flume端(kafka是两个机器都要启动,flu...
2018-05-10 13:01:10 475
原创 IDEA用法总结之三(以及总结今天用IDEA实现spring+springmvc+mongodb的后台项目)
在IDEA上使用IDEA的时候:先创建一个maven-archtype-webapp的maven然后再在项目里面新建一个 resouces ,然后标记为Resource root;新建一个名为java的directory,然后将其标为Sources root 将configfile例如springmvc.xml,applicationContext.xml放到Sources root ...
2018-05-08 23:45:33 1172
转载 IDEA总结之二(用IDEA新建一个spring结构的web项目)
先建一个普通的web项目,如果不会的话可以参考之前的IDEA总结之一(如何新建 普通的maven +web项目以及如何运行mavenweb项目)点击打开链接然后右键项目 Add Framwork Support...这里也说一下如何快速的新建springboot点击New Project后,选择Spring Initializr点击打开链接...
2018-05-08 14:41:16 1193
转载 IDEA总结之一(如何新建 普通的maven +web项目以及如何运行mavenweb项目)
新建maven web 项目的时候,在新建maven的时候选择 maven-archtype-web就可以了运行mavenweb项目的时候用下面的网址 需要注意的是这里用的不是pom里配置的tomcat 而是自己配置的本地的tomcat参考下面的链接https://www.cnblogs.com/Fly-Bob/p/7240153.html...
2018-05-08 13:25:03 1657
原创 pom文件范例
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0....
2018-05-08 12:56:27 1673
原创 windows服务的一些命令(安装mongdb时候遇到的)
SC Delete 服务名 可以删除服务CMD命令行中,文件名有空格怎么输入?把文件名用"" 引号引起来就可以了,例如"c:\Program Files"。用来启动服务mongod --config "D:\Program Files\MongoDB\Server\3.4\conf\mongodb.config"参考https://www.cnblogs.com/khoe/p/7457345....
2018-05-07 22:42:05 140
原创 kafka 和storm Java api编程中 pom文件范例
要注意的是运行的时候可能会遇到日志文件jar包重复的情况,这里要用到<exclusions>排除如下 <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifact...
2018-05-07 17:03:56 815
原创 kafka java api
kafka java api生产者package com.wxa.storm.kafka;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import java.util.Properties;import ja...
2018-05-07 16:43:56 478
原创 再探kafka之二!!(重要!!)
启动kafka!!!!!!!!!!(通过kafka-server-start.sh $KAFKA_HOME/config/server.properties启动)kafka是要先启动的!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!(重要的事情说三遍)telnet不通9092不一定是开不开放端口的问题有可能是端口上的程序没有启动的原因,只有先启动了程序才能判断这个端口是...
2018-05-07 16:38:54 579
原创 linux 学的一些需要记得命令
history命令 可以用!加上命令的行号,执行历史纪录的命令more命令查看文件中,f命令向下翻页,b命令向上翻页cd ~ 快速回家cd - 回到上次的位置ctr +c 不想删可用来中止换行软连接 相当于新建了一个文件,硬连接相当于新建了一个引用CentOS 是一个基于Red Hat Linux 提供的可自由使用源代码的企业级Linux发...
2018-05-06 21:07:30 171
原创 redis相关
https://blog.csdn.net/jinwufeiyang/article/details/52156817https://www.cnblogs.com/springlight/p/6288902.html config set requirepass "123" 设置redis的密码 config get requirepass (下面的链接)Hbase中构造过滤器 https://...
2018-05-06 21:06:46 119
原创 关于telnet的一些事情
windows要实现telnet要打开一些服务才行Linux也需要实现某些服务才行,要先安装telnet和telnet-server服务,然后再在/etc/xinetd.d/telnet将禁用个屏蔽掉就可以了netstat -lnp|grep 2181 表示端口被什么进程所占用vi /etc/sysconfig/iptables...
2018-05-06 21:06:14 246
原创 Hive学习笔记
beeline可以用!connect jdbc:hive2://localhost:10000 用来连接hiveserver2启动的hive服务建表操作CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_co...
2018-05-06 21:05:34 357
原创 再探kafka之一
启动kafka!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!kafka是要先启动的!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!下面是server.properties的配置文件 server.properties的配置文件#broker的全局唯一编号,不能重复broker.id=0#用来监听链接的端口,produce...
2018-05-06 21:04:17 114
原创 hbase学习之二 java api
这里贴一下自己写的调用hbase的java api程序package cn.itcast_01_hbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.C...
2018-05-06 13:42:39 128
原创 总结之一
spark和kafka是用scala写的storm是用Clojure写的storm分为本地和集群模式,其中本地模式的代码,不用在windows上安装storm直接就可以用工具IDEA就可以跑起来storm可以看作是一个和hadoop平级的一个架构,并不需要依赖于Hadoop...
2018-05-06 13:37:33 105
原创 storm学习之三
1、集群如何启动,任务如何执行? java -server nimubs,supervisor client--->createTopology(序列化)--->提交jar到nimbuinbox--->nimbus分配任务(task总数/worker数)---写到zk。 启动worker<------识别自己的任务<----supervisor---...
2018-05-05 21:07:57 165
原创 storm学习之二
storm流程分析Storm组件本地目录树上面的work中的pids下面有很多的进程,其中第一个进程是work的进程号。其余的进程是由work所起的进程Storm zookeeper目录树
2018-05-05 19:05:47 125
原创 storm学习之一
配置storm.yaml(文件如下配置) storm.zookeeper.servers: - "hadoop01" - "hadoop02"nimbus.host: "hadoop01"nimbus.childopts: "-Xmx1024m"ui.port: 8080ui.childopts: "-Xmx768m"supervisor.childopts: "-Xmx768m&q
2018-05-05 16:45:04 176
原创 sqoop安装及初体验(hive配置mysql服务器)
先要安装mysql服务centos6.5可以直接用yum下载具体可参考https://mp.csdn.net/postedit/80139841这篇文章----------------------------------------------------------------------------------------------------------------------------...
2018-04-28 23:46:30 285
转载 CentOS6.5安装与配置Mysql数据库(转)
参考这个链接点击打开链接https://blog.csdn.net/bingjianit/article/details/54384299
2018-04-28 22:17:54 88
原创 hive sql 基本练习
表的结构create table student(Sno int,Sname string,Sex string,Sage int,Sdept string) row format delimited fields terminated by ','stored as textfile;create table course(Cno int,Cname str...
2018-04-28 18:36:37 3443
转载 关于hive中的各种join
准备数据1,a2,b3,c4,d7,y8,u2,bb3,cc7,yy9,pp建表:create table a(id int,name string)row format delimited fields terminated by ',';create table b(id int,name string)row format delimited fields terminated by ','...
2018-04-28 10:55:33 204
Spring Boot 教程.docx
2024-05-01
Qt 开发入门教程.docx
2024-05-01
unity开发教程.docx
2024-05-01
微信小程序教程.docx
2024-05-01
Visual Basic语言教程.docx
2024-04-23
Scratch语言教程.docx
2024-04-23
Rust语言教程.docx
2024-04-23
Ruby语言教程.docx
2024-04-23
Fortran语言简要教程
2024-04-23
Sora AI 文生视频和图生视频的简要教程
2024-04-23
关于 Suno AI 的简要教程
2024-04-23
管理系统源码,一个完整实例,包含使用说明书和整个系统完整配置
2024-04-23
C#实战案例,一个完整实例,包含使用说明书和整个系统完整配置
2024-04-23
Borland-Delphi-7-Studio-Enterprise
2024-04-23
go1.8.3.darwin-amd64.tar.gz
2024-04-23
HiLinkDeviceSDK开发资料等资源
2024-04-22
一个Android移动应用综合开发的例子
2024-04-22
一个数据可视化实战例子
2024-04-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人