- 博客(58)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 1、Spring Boot面试专题
问题一什么是 Spring Boot?多年来，随着新功能的增加，spring 变得越来越复杂。只需访问 https://spring.io/projects 页面，我们就会看到可以在我们的应用程序中使用的所有 Spring 项目的不同功能。如果必 须启动一个新的 Spring 项目，我们必须添加构建路径或添加 Maven 依赖关系，配置应用程 序服务器，添加 spring 配置。因此，开始一个新的 spring 项目需要很多努力，因为我们现 在必须从头开始做所有事情。Spring Boot 是解决
2020-05-30 18:36:28
249
原创 31、Python日常抓取数据的高效代码
## 优化代码4 # 抓取的发布时间 ori_date = selector.xpath('//div[@class="short_r"]/text()') list_date = "".join([str(x) for x in ori_date]) # 日期格式化核心代码 list_time = time.mktime(time.strptime(lis...
2020-03-29 15:33:32
201
原创 30、Python日常抓取数据的高效代码
日常抓取数据经常需要用的数据格式化方式，之后给大家更新一个scrapy完整爬虫项目。。。。。。## 优化代码4 # 抓取的发布时间 ori_date = selector.xpath('//div[@class="short_r"]/text()') list_date = "".join([str(x) for x in ori_date]) # 日期格式...
2020-03-24 09:35:33
216
原创 29、Python日常抓取数据的高效代码
优化代码1# 使用soup解析metasoup = BeautifulSoup(html)list_author = soup.find(attrs={"name": "ContentSource"})['content']list_time = soup.find(attrs={"name": "PubDate"})['content']优化代码2# 截取字符串中的 \n \r ...
2020-03-20 00:39:38
1986
1
转载 Elasticsearch 打造全文搜索引擎
带着问题上路——ES是如何产生的？（1）思考：大规模数据如何检索？如：当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题：1）用什么数据库好？(mysql、sybase、oracle、达梦、神通、mongodb、hbase…)2）如何解决单点故障；(lvs、F5、A10、Zookeep、MQ)3）如何保证数据安全性；(热备、冷备、异地多活...
2020-02-14 14:45:08
571
2
原创 3、Kafka面试专题
1、如何获取 topic 主题的列表2、生产者和消费者的命令行是什么？3、consumer 是推还是拉？4、讲讲 kafka 维护消费状态跟踪的方法5、讲一下主从同步6、为什么需要消息系统，mysql 不能满足需求吗？7、Zookeeper 对于 Kafka 的作用是什么？8、数据传输的事务定义有哪三种？9、Kafka 判断一个节点是否还活着有那两个条件？10、Kafka 与传统 MQ 消息系统之间有三个关键区别11、讲一讲 kafka 的 ack 的三种机制1.
2020-08-28 22:31:11
201
原创 2、Flume部署及面试专题
1、Flume部署1.1 简介 Flume是一个可靠、高可用的分布式海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据；同时Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Kafka、Hbase等)的能力 。 Flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后...
2020-08-28 09:57:14
184
原创 5、Hadoop 数据配置
上传文件的命令scp -P 22 mysql57-community-release-el7-11.noarch.rpm root@192.168.16.120:/usr/java/192.168.99.120 s200192.168.99.121 s201192.168.99.122 s202192.168.99.123 s203在hadoop-env.sh 配置一条hadoop配置文件所在目录export HADOOP_CONF_DIR=/opt/hadoop-2.7.1/.
2020-07-01 10:03:38
227
原创 1、关于整合ES availableProcessors is already 问题分析
最近项目中有整合了ES 跟Redis，在写测试用例的时候会报如上错误Caused by: java.lang.IllegalStateException: availableProcessors is already set to [8], rejecting [8]但是用IDEA启动整个项目不会有这个问题搜索Netty4Utils.java 定位setAvailableProcessors方法，有提示设置es.set.netty.runtime.available.processo...
2020-06-04 09:43:22
3015
原创 1、日常记录：MacbookPro上，窗口实现git命令上传代码到github操作
1、第一步操作先进入上传代码的本地路径Last login: Sun Apr 19 09:39:43 on consoleniujianweideMacBook-Pro:~ niujianwei$ lsAE_Work Music otherApplications Pictures repositoryDes...
2020-04-19 16:35:30
377
原创 阿里云Apsara Clouder专项技能认证：实现调用API
一.API 简介1.API 的概念API(Application Programming Interface应用程序编程接口)是一些预定义的函数,目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力,而又无需访问源码或理解内部工作机制的细节2.API 的特点API 是一个明确定义的接口,可以为其他软件提供特定服务API可以小道只包含一个单独的函数,亦可以达到包含数以百计的类...
2020-02-26 18:10:18
654
原创 28、Python基础---捕获异常（基于Python3.6）
元类1. 类也是对象在大多数编程语言中，类就是一组用来描述如何生成一个对象的代码段。在Python中这一点仍然成立：>>> class ObjectCreator(object):… pass…>>> my_object = ObjectCreator()>>> print my_object<__main_...
2020-02-24 23:47:51
230
原创 27、Python基础---捕获异常（基于Python3.6）
<1>捕获异常 try...except...看如下示例:try: print('-----test--1---') open('123.txt','r') print('-----test--2---')except IOError: pass运行结果:说明:此程序看不到任何错误，因为用except 捕获到了IOError异常，...
2020-02-23 23:03:05
249
原创 26、Python基础---实战（飞机大战小游戏）（基于Python3.6）
实战（飞机大战小游戏），喜欢的朋友可以自己玩一下，不在于效果，注重思维逻辑培养#coding=utf-8import timeimport randomimport pygamefrom pygame.locals import *class Base(object): def __init__(self,screen,name): self.name = n...
2020-02-23 22:57:08
346
原创 25、Python基础---快速回忆基础知识（基于Python3.6）
1. 标识符、关键字 if/else/elif/break/continue/for/while/and/or/not/in/True/ False/try/except/finally/as/import/from/def/class/return/None global/lambda2. 变量、输入、输出 a = 100 引用 a = 4 b = 5 c = a a...
2020-02-23 22:53:43
216
原创 24、Python基础---__new__和__init__的作用（基于Python3.6）
__new__方法__new__和__init__的作用class A(object): def __init__(self): print("这是 init 方法") def __new__(cls): print("这是 new 方法") return object.__new__(cls)A()总结__new__至...
2020-02-22 23:18:43
162
原创 23、Python基础---工厂模式（基于Python3.6）
工厂模式1. 简单工厂模式1.1.使用函数实现# 定义伊兰特车类class YilanteCar(object): # 定义车的方法 def move(self): print("---车在移动---") def stop(self): print("---停车---")# 定义索纳塔车类class SuonataCar(...
2020-02-22 23:14:02
174
原创 22、Python基础---单例模式（基于Python3.6）
单例模式1. 单例是什么举个常见的单例模式例子，我们日常使用的电脑上都有一个回收站，在整个操作系统中，回收站只能有一个实例，整个系统都使用这个唯一的实例，而且回收站自行提供自己的实例。因此回收站是单例模式的应用。确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例，这个类称为单例类，单例模式是一种对象创建型模式。2. 创建单例-保证只有1个对象# 实例化一个单例cla...
2020-02-22 23:11:26
139
原创 21、Python基础---类属性、实例属性（基于Python3.6）
类属性、实例属性在了解了类基本的东西之后，下面看一下python中这几个概念的区别先来谈一下类属性和实例属性在前面的例子中我们接触到的就是实例属性（对象属性），顾名思义，类属性就是类对象所拥有的属性，它被所有类对象的实例对象所共有，在内存中只存在一个副本，这个和C++中类的静态成员变量有点类似。对于公有的类属性，在类外可以通过类对象和实例对象访问类属性class People(ob...
2020-02-22 23:09:14
125
原创 20、Python基础---重写父类和调用父类（基于Python3.6）
重写父类方法与调用父类方法1. 重写父类方法所谓重写，就是子类中，有一个和父类相同名字的方法，在子类中的方法会覆盖掉父类中同名的方法#coding=utf-8class Cat(object): def sayHello(self): print("halou-----1")class Bosi(Cat): def sayHello(self):...
2020-02-22 23:07:37
146
原创 19、Python基础---继承（基于Python3.6）
继承介绍以及单继承1. 继承的概念在现实生活中，继承一般指的是子女继承父辈的财产，如下图继承搞不好,结果如下..继承在程序中，继承描述的是事物之间的所属关系，例如猫和狗都属于动物，程序中便可以描述为猫和狗继承自动物；同理，波斯猫和巴厘猫都继承自猫，而沙皮狗和斑点狗都继承足够，如下如所示：继承2. 继承示例# 定义一个父类，如下:class Cat(object):...
2020-02-22 23:06:09
245
原创 18、Python基础---常用文件和文件夹的操作（基于Python3.6）
常用文件和文件夹的操作：# -*- encoding: utf-8 -*-"""@File : 03-文件和文件夹的操作.py@Contact : niujianwei@xinhuadata.com@License : (C)Copyright 2019-2020@Modify Time @Author @Version @Desc...
2020-02-22 22:33:26
175
原创 17、Python基础---复制文件操作（基于Python3.6）
复制文件的操作：# -*- encoding: utf-8 -*-"""@File : 02-复制文件操作.py @Contact : niujianwei@xinhuadata.com@License : (C)Copyright 2019-2020@Modify Time @Author @Version @Descipt...
2020-02-22 22:11:29
293
原创 16、Python基础---函递归（基于Python3.6）
#4! = 4*3*2*1#5! = 5*4*3*2*1'''i = 1result = 1while i<=4: result = result * i i+=1print(result)'''#5! => 5*4!#4! => 4*3!'''def xxx(num): num * xxxx(num-1)def xx(n...
2020-02-22 01:24:11
127
原创 15、Python基础---函数版-名片管理系统（基于Python3.6）
# -*- encoding: utf-8 -*-"""@File : 01-名片管理系统函数版.py @Contact : niujianwei@xinhuadata.com@License : (C)Copyright 2019-2020@Modify Time @Author @Version @Desciption--...
2020-02-21 20:07:54
246
原创 14、Python基础---下标和切片（基于Python3.6）
下标和切片1. 下标索引所谓“下标”，就是编号，就好比超市中的存储柜的编号，通过这个编号就能找到相应的存储空间 生活中的 "下标" 超市储物柜 高铁二等座 高铁一等座 绿皮车 字符串中"下标"的使用 列表与元组支持下标索引好理解，字符串实际上就是字符的数组，所以也支持下标索引。 如果有字符串:name = 'abcde...
2020-02-21 01:25:07
292
原创 13、Python基础---while循环应用（基于Python3.6）
while循环应用1. 计算1~100的累积和（包含1和100）参考代码如下:#encoding=utf-8i = 1sum = 0while i<=100: sum = sum + i i += 1print("1~100的累积和为:%d"%sum)2. 计算1~100之间偶数的累积和（包含1和100）参考代码如下:#encoding...
2020-02-19 21:37:50
176
原创 12、Python基础---关系运算符和逻辑运算符（基于Python3.6）
<1> 比较(即关系)运算符python中的比较运算符如下表运算符 描述 示例 == 检查两个操作数的值是否相等，如果是则条件变为真。 如a=3,b=3则（a == b) 为 true. != 检查两个操作数的值是否相等，如果值不相等，则条件变为真。 如a=1,b=3则(a != b) 为 true. <> 检查...
2020-02-19 21:34:09
269
原创 11、Python基础---常用的数据类型转换（基于Python3.6）
常用的数据类型转换函数 说明 int(x [,base ]) 将x转换为一个整数 long(x [,base ]) 将x转换为一个长整数 float(x ) 将x转换到一个浮点数 complex(real [,imag ]) 创建一个复数 str(x ) 将对象 x 转换为字符串 repr(x ) 将对象 x 转换为表达式字符串...
2020-02-19 21:31:57
164
原创 10、Python基础---运算符（基于Python3.6）
运算符python支持以下几种运算符算术运算符下面以a=10 ,b=20为例进行计算运算符 描述 实例 + 加 两个对象相加 a + b 输出结果 30 - 减 得到负数或是一个数减去另一个数 a - b 输出结果 -10 * 乘 两个数相乘或是返回一个被重复若干次的字符串 a * b 输出结果 200 / 除 ...
2020-02-19 21:29:52
233
原创 9、Python基础---名片管理系统（基于Python3.6）
Python3.6日常训练小程序： 基于Python的列表的训练，大集合中包含多个小集合，遍历输出打印，这就引出了字典的定义。# -*- encoding: utf-8 -*-"""@File : 03-名片管理系统.py @Contact : niujianwei@xinhuadata.com@License : (C)Copyright 2019...
2020-02-19 20:45:05
213
转载 模拟统一社会信用代码（符合规范） python
统一社会信用代码规则：https://zh.wikisource.org/zh-hans/GB_32100-2015_%E6%B3%95%E4%BA%BA%E5%92%8C%E5%85%B6%E4%BB%96%E7%BB%84%E7%BB%87%E7%BB%9F%E4%B8%80%E7%A4%BE%E4%BC%9A%E4%BF%A1%E7%94%A8%E4%BB%A3%E7%A0%81%E7%...
2020-02-19 17:14:13
1419
原创 8、Python基础---名字管理系统（基于Python3.6）
python3.6简单小案例：# -*- encoding: utf-8 -*-"""@File : 02-名字管理系统.py @Contact : niujianwei@xinhuadata.com@License : (C)Copyright 2019-2020@Modify Time @Author @Version ...
2020-02-19 17:04:20
231
原创 RAID0、RAID1及RAID5的区别详解
目前已有的RAID(Redundant Array of Independent Disks,独立冗余磁盘阵列)技术有很多种，但是RAID0、RAID1、RAID5是最常见的几种方案。1、RAID0RAID0技术把多块(至少两块)物理硬盘设备通过软件或硬件的方式串联在一起，组成一个大的卷组，并将数据依次写入到各个物理硬盘中。这样，在最理想的情况下，硬盘设备的读写性能会提升数倍，但是若任意一...
2020-02-19 14:01:04
3110
原创 7、Python基础---列表的操作增删改查（基于Python3.6）
列表的操作(增删改查) 添加新的元素 append() insert() extend() 删除元素 pop()------------------删除最后一个 remove()---------------根据内容删除 del xxx[下标]-----------根据下标删除 修改 xxx[下标] = new值 查询 in not in...
2020-02-19 01:36:16
147
原创 6、Python基础---字符串的常用操作方法（基于Python3.6）
1.find string = "Beautiful is better than ugly" 检查字符串是否包含在string中,如果包含则返回字符串开始的下标（索引），如果不包含则返回-1>>> string='Beautiful is better than ugly '>>> string.find('better')13>>&...
2020-02-19 01:17:50
406
原创 5、Python基础---打印1-100之间的20个偶数（基于Python3.6）
原始代码：i = 1num = 0while i <= 100: if i % 2 == 0: print(i) num += 1 if num == 20: break i += 1
2020-02-18 18:04:02
2486
原创 4、Python基础---while剪刀石头布（基于Python3.6）
import random# 提示并获取用户的输入player = int(input("请输入 0剪刀 1石头 2布："))# 电脑出一个computer = random.randint(0, 2)# 判断用户的输入，然后显示对应的结果# if玩家获胜的条件if (player == 0 and computer == 2) or (player == 1 an...
2020-02-18 18:02:34
915
原创 3、Python基础---while打印99乘法表（基于Python3.6）
原始代码：i = 1while i <= 9: # 打印9✖9乘法表 j = 1 while j <= i: print("%d*%d=%d\t" % (j, i, i * j), end="") j += 1 print("") i += 1
2020-02-18 17:42:52
258
1
原创 2、Python基础---while打印三角形（基于Python3.6）
原始代码：i = 1while i <= 5: j = 1 while j <= i: print("*", end="") j += 1 print("") i += 1
2020-02-18 17:41:45
527
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人