- 博客(35)
- 收藏
- 关注
RSS订阅
原创 面试题整理
1.集合一.集合的架构、怎样选择集合Iterable<-Collection(I)|List(I) Set(I) Queue(I)| | |ArrayList© HashSet© LinkedList©LinkedList© Sort...
2019-05-29 18:14:56
132
原创 使用python实现一个简单爬虫一
简单的爬虫架构爬虫调度端-url管理器-网页下载器-网页解析器-价值数据url管理器需要实现的需求1.添加新的URL到待爬取的集合中（判断待添加URL是否在容器中）2.获取待爬取url（判断是否存在待爬取url，将待爬取url添加到已爬取url中）url管理器实现方式python内存 ：待爬取url集合：set() 已爬取url集合：set()关系数据库：mysql ...
2020-03-13 16:22:09
232
原创 大数据学习三-分布式文件系统HDFS
3.1分布式文件系统3.1.1分布式文件系统的结构分布式文件系统也采用了块的概念，块是数据读写的基本单元，只不过分布式文件系统的块要比操作系统中的块大很多。HDFS默认的块的大小是64MB。与普通文件不同的是，在分布式文件系统中，如果一个文件小于一个数据块的大小，它并不占用整个数据块的存储空间分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，他们分为两类：一类叫‘主节点’也被称为...
2019-11-21 17:23:02
904
原创 大数据学习二-Hadoopp
2.1.1Hadoop简介Hadoop是Apache软件旗下的一个开源分布式计算平台，为客户提供了系统底层细节透明的分布式架构。Hadoop是基于java语言开发，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。Hadoop的核心是分布式文件系统（HDFS）和MapReduce。HDFS是针对谷歌文件系统（GFS）的开源实现，是面向普通硬件环境的分布式文件系统，具有较高的读写速度、很好...
2019-11-19 17:30:32
397
原创 大数据学习-大数据的概念
1.1大数据的4个特点1.数据量大2.数据类型繁多3.处理速度快4.价值密度低1.2大数据的应用大数据无处不在，包括金融、汽车、餐饮、电信、能源、体育和娱乐等在内的社会各行各业都已经融入了大数据的印迹。1.3大数据关键技术所谓大数据技术，是指伴随着大数据的采集、存储、分析和应用的相关技术，是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结...
2019-11-19 16:33:57
275
原创 Hbase架构
HBase架构Region Server,负责处理数据的读写请求，客户端请求数据时直接和Region Server交互。HBase Master,负责Region的分配，DDL（增删表）操作。Zookeeper，作为HDFS的一部分，负责维护集群状态。HBase存储Region Server和HDFS DataNode往往分布在一起，这样Region Server就能够实现数据本地化R...
2019-11-15 15:31:38
116
原创 Kafka学习
Kafka虚拟机操作开启 zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties开启 kafkabin/kafka-server-start.sh config/server.properties3.创建topicbin/kafka-topics.sh --create --zookeeper 172.20...
2019-10-23 17:13:37
134
原创 java学习笔记整理-框架hidernate
5种框架SSH：Spring+Struts2+HibernateSSM：Spring+SpringMVC+MyBatis搭建Hibernate框架步骤：1.导jar包2.准备数据库/实体类3.配置文件：2种Hibernate主配置文件：src/hibernate.cfg.xml链接数据库：url username password driver配置文件键值对：解压/project...
2019-09-03 10:35:09
164
原创 java学习笔记整理-HttpServletRequest
request的作用：获得请求行：String getMethod()获得请求资源:String getREquestURIStringBuffer getRequestURLString getContextPath()-获得web应用的名称String getQueryString()–get提交后url地址后的参数字符串、通过request获得请求头String getHead...
2019-08-15 20:20:19
127
原创 java学习笔记整理-HttpServletResponse
通过response设置响应体响应体设置内容printWriter().write(String s)将字符串设置到response缓冲区，tomcat将组装成Http响应返回给浏览器端解决设置乱码问题：response.setCharacterEncoding(String charset)设置response的编码指定浏览器解析页面的编码方式：response.setContentTy...
2019-08-15 18:49:31
139
原创 java学习笔记整理-Servlet
Servletservlet规范：List itemservlet技术filter技术–过滤器listener技术–监听器实现Servlet创建类实现Servlet接口重写service方法在web.xml进行servlet的配置实际开发直接创建类继承HttpServlet-覆盖doGet和doPostServlet的API（生命周期）Servlet接口中的方法...
2019-08-14 21:23:07
86
原创 Java学习笔记整理-HTTP协议基础
什么是HTTP协议HTTP是超文本传输所要遵守的规则。包括request和responseHTTP请求包括：请求行、请求头、请求体请求行：请求方式：Get/Post form method=“post”、请求的资源、协议版本协议版本：1.0 发送请求，创建一次连接，获得一个web资源，连接断开1.1 发送请求，创建一次连接，获得多个web资源，连接保持请求头：客户端发送给服务器端的一...
2019-08-05 21:15:32
112
原创 java学习笔记整理-JDBC-连接池
连接池：DataSource(数据源 意义：减少频繁与数据库建立连接和关闭 连接的集合->创建连接池初始化若干连接对象 getConnection()->返回给一个连接 close()--------------->返回给连接池 DBCP:apache->开源BasicDateSource ...
2019-08-01 19:54:47
104
原创 java学习笔记整理-JDBC规范基础
**JDBC-规范（Java DateBase Connectivity）JDK 提供，java链接数据库的规范Oracle mysql接口：java.sql1.连接Connection2.操作数据 Statement3.结果 ResultSet1.导jar包 数据库驱动包—JDBC实现类mysql-connectorojdbc2.连接数据库a.加载驱动类 可能产生的异常：C...
2019-07-31 21:23:46
124
原创 java学习笔记整理-高级查询\视图\索引\序列\约束
一.高级查询1.子查询select 查询中,在where查询条件中的限制条件不是一个确定的值,而是来自与另外一个查询的结果子查询:嵌入在其他SQL语句中的select语句,大部分时候出现在where子句中子查询嵌入的语句称作主查询或父查询.主查询可以是select语句,也可以是其他类型的语句比如DML或DDL语句子查询在from部分如果要在子查询的结果中继续查询,则子查询出现在from...
2019-07-23 18:18:20
155
原创 java学习笔记整理-SQL查询语句
一.SQL基础查询1.基本查询语句from子句where子句select子句2.查询条件>,<,>=,<=,!=,<>,=使用and，or关键字使用like条件（模糊查询）%表示0到多个字符，_标识单个字符使用IN和NOT ＩＮbetween ａｎｄis ｎｕｌｌ和 ｉｓ ｎｏｔ ｎｕｌｌａｎｌ和ａｌｌ条件１.在比较运算符中，可以出现ａ...
2019-07-23 10:07:31
173
原创 java学习笔记整理-数据库DDL，DML、Oracle函数
数据库可以分为两种一.关系型数据库1.Oracle甲骨文 11g2.Mysql 甲骨文 5.5 5.73.sqlserver 微软DB2 IBM二.非关系型数据库：NosqlSQL：对数据库进行增删改查 数据Oracle：远程连接：Linux-命令SID-连接Oracle数据使用的唯一标识。crclSQL语句：99标准 databaseDDL：数据定义语言-表创建表：c...
2019-07-18 00:19:31
182
原创 java学习笔记整理-线程基础
**什么是进程？正在进行的程序什么是线程？进程中。多个独立的执行单位（至少有一个前置/前台线程）并发运行，不是真正的同时进行。cpu执行线程，感官上是同时，但是同一时间，只执行一个线程，所以感觉上是同时（Cpu的切换是随机的）实现多线程Thread：三种方式1.继承Thread类，重写run方法 new Thread（）好处：类本身就是线程坏处：只能继承一个线程类，扩展性差、耦合性高...
2019-07-07 20:28:42
97
原创 Java学习笔记整理-流
一.RandomAccessFilenew RandomAccessFile(file,“rw”);常用：int read()->读单字节int read(byte[])->返回有效长度，读的内容放入byte数组int read(byte[],off,len)->返回有效长度，读的内容放入byte数组off位置开始void write(int)->写单字节wr...
2019-06-03 12:49:03
146
原创 Java学习笔记整理-File\路径问题
java.io:Input输入 Output输出文件：读/写程序：输入/输出File：new File（路径）->表示文件/目录File flie =new File（“a”）;只是再内存中创建的虚拟对象，和磁盘中有没有这个文件无关（文件的存储，都是以字节为单位的）路径：相对路径：.当前目录… 上一级目录~直接参考值：当前目录 绝对路径：从盘符开始 Windows:C/...
2019-05-31 09:41:40
217
原创 Java学习笔记整理-Map
集合：CollectionMap：键值对 key-value映射表（默认HashMapHashtableconcurrentHashMapLinkedHashMapSortedMap（I)->TreeMap1.HashMapMap<String,String>map=new HashMap<String,String>();//增删改查map.pu...
2019-05-30 16:56:11
171
原创 Java学习笔记整理-排序
一.数组排序1.插入排序：数组分为两部分，后一部分每一个元素和前一部分每一个元素比较，插入到合适位置2.冒泡排序：比较相邻两个元素3.选择排序：每一轮都找到最小的元素放前面4.Arrays.sort(int[])Collections-工具类sort(LIst)->底层调用Arrsys.sort()//排序改变的时list本身先判断Comparator ==null为空：数组...
2019-05-29 18:58:47
224
原创 Java学习笔记整理-Collection-Set(I)-Queue(I)
一.Set(I):HashSet 散列结构-无序，不允许重复 SortedSet(I)->TreeSet 树状结构-二叉树（中序）Hash存储过程1.计算存储对象的位置，通过hashCode（）值（哈希算法）2.该位置没有元素（空），直接加入（已经加入的元素，位置不会改变）3.该位置上有元素，判断要加入的对象和存在的对象equals相等4.相等->相同对象，不加5.不相...
2019-05-21 18:41:10
117
原创 Java学习笔记整理-Collection-List(I)
Iterable所有超级接口iterator()-获得迭代器迭代器的方法：1.hasNext() 2.next() 3.removeCollection（I)：集合 存放多个元素，没有大小限制一.LIst(I):线性结构 有序列表（顺序索引index）a.ArrayList顺序结构（基于数组实现）连续空间->空间浪费 带下标->查找可以快速定位 插入/删除-...
2019-05-21 10:53:21
151
原创 Java学习笔记整理-集合的概念
我们有数组为什么要使用集合，集合和数组有什么区别？1.数组：长度不可变；数组的扩容：System.arraycopy(src,srcLoc,dest,destLoc,length);Arrays.copyOf(src,newLength);2.集合：支持Object，存储很多数据，没有长度限制Collection-API:Iterable（可迭代的）实例化一个集合：Collectio...
2019-05-17 19:36:05
345
原创 Java学习笔记整理-时间工具整理
一.Date定义：Date date=new Date（）；//获取系统当前时间格式定义：1.传一个构造器DateFormat；2.定义一个格数例如： DateFormat df=new SimpleDateFormat(“yyyy/MM/dd HH:mm:ss”)String str=df.format(d1)相关方法：1.after（Date when）测试此日期是否在指定日期...
2019-05-17 11:03:08
140
原创 Java学习笔记整理-正则表达式、可变字符串、时间工具
常用API正则表达式Boolean matches（String regex)String repalceAll(String regex,String newStr)String[] split(String regex)只能出现0-9 a-z A-Z _ $一共最多16个字符，最少6个字符数量词x? X,一次或一次也没有X* X，零次或多次X+ X，一次或多...
2019-05-13 17:53:17
197
原创 Java学习笔记整理-Object、String类
object类：所有类的父类 11个方法wait（）*3notify（）notifyAll（）–线程有关String toString（）Boolean equals（object）int hashCode（）class getClass（）object clone（）finalize（）-对象被调用1.String toString（） 对象打印，默认输出：类名@hashCo...
2019-05-13 14:59:28
136
原创 Java学习笔记整理-面向对象
面向对象：三大特征：封装 继承 多态封装：把一类事物的特征抽象为变量，把事物的行为抽象为方法，加以访问控制属性的限制为封装封装的意义：保护[访问控制符]class 类名{//属性修饰词 属性类型 属性名；//方法修饰词 返回值类型 方法名（参数列表）[异常声明]{方法体}构造方法：（实例化对象、构造对象时会根据参数来调用构造方法）1.没有返回值类型 也不能是void2.方...
2019-05-10 21:07:15
154
原创 Java学习笔记整理-类继承
类：用于描述一类事物的特征和行为 语法：class 类名{//定义变量 成员属性//构造方法：方法名和类名相同 并且没有返回值类型也不是void（如果自己不实现构造方法编译器会自动生成一个无参的构造方法，一旦提供 编译器将不再生成）}类可以实例化对象 new类名 标识符=new 类名（）；创建\实例化对象：调用构造方法，初始化成员属性java两种数据类型：基本数据类型:...
2019-05-10 15:17:34
135
原创 Java学习笔记整理-方法、函数、过程
一.方法封装了一段逻辑代码或者实现特定的功能方法可以重复被调用 增加了代码的复用提升开发效率方法五要素：修饰词 返回值类型 方法名（参数列表）{//方法体return xx；//返回结果给调用者}//main函数public static void main(String args[ ]){}修饰词：public static返回值类型：void 表示该函数没有返回值...
2019-05-10 14:25:29
133
原创 Java学习笔记整理-数组
数组：定义一组变量一.一维数组定义数组：定义数组变量类型[ ] 数组名= new 类型[数组长度]；数组里的变量都和数组名同名，只能通过下标的形式来区分每一个变量下标：从0开始递增，到数组长度-1下标不要越界（不要超过范围，否则将报错（java.lang.ArrayIndexOutOfBoundsException）数组下标越界异常数组名.length可以获得数组长度数组再定义之后...
2019-05-10 10:46:22
124
原创 Java学习笔记整理-基本语句
一.分支选择1.if语句2.switch语句二.条件循环1.while（布尔表达式：结果只能是true或者false）{//code}2.for（1；2；3）{//code}初始化循环变量只会执行一次a.判断循环条件 循环条件如果为true执行循环体的内容改变循环变量b. 重新判断循环条件循环中有两个关键字break 结束整个循环，跳到循环后面继续执行contin...
2019-05-10 10:20:46
129
原创 Java 学习笔记整理-基础语法
Java 学习笔记整理一.基础语法1.变量java程序中要保存数据用变量变量就是用来存储数据的载体对应一块内存区域(1)变量的声明 定义数据类型 变量名;变量名 也 称为 标识符标识符的规则：由数字、字母、_ 和 $ 组成不能数字开头不能和java的关键字冲突不能重复 相同名字的变量名在同一个作用域下面不能被重复定义中文也可以作为标识符 但不建议使用建设的...
2019-05-10 09:58:51
153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人