- 博客(39)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 linux安装hadoop生态圈之SBT安装
安装sbt本文方法很简单 很简单centos 6.5sbt 1.3.3Spark中没有自带sbt，需要手动安装sbt，我的方法是先安装sdk再安装sbt$ curl -s "https://get.sdkman.io" | bash$ source "$HOME/.sdkman/bin/sdkman-init.sh"$ sdk versionThensdk instal...
2019-11-13 22:37:56
275
转载 双子座
你赞赞 我赞赞，世界是如此美好双子星座聪明，充满激情和充满活力的双子座以双生子，海狸和北河三为特色，以其可以向世界展示的两个不同侧面而闻名。专家传播者，双子座是十二星座的变色龙，擅长根据他们感知的氛围和能量融入不同的群体。虽然它们在展示表面特征方面也令人惊叹，但是双子座的表现很深，这就是为什么双胞胎是十二星座最具情感智慧的标志之一。精力充沛，机智敏捷，双子座从未陷入过去的困境，也不会反复思...
2019-10-27 10:36:15
222
原创 下载node,npm报错
Windows下载node，npm报错但是可以正常运行由于版本的缘故，下载了node之后，又卸载了，然后又重新安装了一次，出现了下面这种情况。node -v 正常显示npm -v出现这种情况删除.config 下面的文件即可已解决一如果没有解决可以尝试删除 “ “.node_repl_history””文件还没有解决1、卸载node2、删除C:\User\Administrator下 “.config”文件夹和 “.node_repl_history” 文件（这里应当
2021-03-30 22:50:15
704
转载 windows10环境下的RabbitMQ安装步骤
windows10环境下的RabbitMQ安装步骤（图文）记录下本人在win10环境下安装RabbitMQ的步骤，以作备忘。第一步：下载并安装erlang原因：RabbitMQ服务端代码是使用并发式语言Erlang编写的，安装Rabbit MQ的前提是安装Erlang。下载地址：http://www.erlang.org/downloads根据本机位数选择erlang下载版本。双击，点next就可以。选择一个自己想保存的地方，然后next、finish就可以。安装完事儿后要记得配置一下系统的
2021-03-30 22:22:06
174
原创 项目问题总结
项目1中出现以下几个问题的解决方案发生数据倾斜：1、大部分的task，都执行的特别快，剩下的几个task，执行的特别特别慢，前面的1s执行5个，但是最后需要执行2个小时2、运行的时候，其他task都执行完了，也没什么特别的问题，但是有的task，就会突然间报OOM，JVM Out of Memory，内存溢出，反复执行几次到某个task都跑不通，最后就挂掉了ps:不能单纯靠偶然的内存溢出就...
2020-03-24 11:13:18
688
原创 Python面试答案之编码规范与数据类型
9. 了解 DocStrings 么？答：DocStrings 文档字符串是一个重要工具，用于解释文档程序，帮助你的程序文档更加简单易懂。主要是解释代码作用的。10. 了解类型注解么？答：PEP 484 引入了类型提示，这使得可以对 Python 代码进行静态类型检查。 在使用 Ide 的时候可以获取到参数的类型，更方便传入参数。使用格式如下def foo(num： int) -> ...
2020-03-08 17:27:17
428
原创 python 函数插值总结
数据插值方式总结Scipy 一维数据插值曲线最好能有函数关系详见：https://docs.scipy.org/doc/scipy/reference/generated/scipy.interpolate.interp1d.html‘’’class scipy.interpolate.interp1d(x, y, kind=‘linear’, axis=-1, copy=True, ...
2019-12-09 16:38:44
1197
原创 python之取消警告的显示
项目中为了美观，个人没发现有什么用处但是要去除警告的显示import warningwarning.filterwarnings("ignore")你赞赞，我赞赞，世界更美好
2019-11-22 16:35:20
1952
原创 ssh,sftp,ftp关系解密
SSH包含三个组件ssh,sftp,scp（1）ssh远程登录节点： ssh 用户名@IP地址（2）sftp命令在局域网内两台服务器上复制文件sftp he@192.168.0.2 //用对方ip上的he用户连接ls //查看文件cd /tmp //任意切换目录get file //下载文件到本地put file //上传文件到对方bye //退出（3）...
2019-11-21 21:22:36
1531
转载 机器学习之SVM多分类
以下内容参考：https://www.cnblogs.com/CheeseZH/p/5265959.html http://blog.csdn.net/rainylove1/article/details/32101113 王正海《基于决策树多分类支持向量机岩性波谱分类》SVM本身是应用于二分类的，所以在处理多分类并且...
2019-11-18 22:25:34
913
1
原创 微店算法笔试题-----两道编程
假设有两个由各种字母组成的字符串，S1始终比S2长。如何最快查出S2的所有字母是否都在S1中？在第一行注明时空复杂度第一行数据为字符串S1第二行数据为字符串S2s1 :asdfghjkls2: hjk;import sysdef contact(l1,l2): count=0 for i in range(len(l2)): if l2[i] in l1...
2019-11-14 17:00:02
615
原创 hadoop集群DataNode与NameNode启动不起来
hadoop集群DataNode与NameNode启动不起来hadoop集群 start-all.sh 之后，DataNode节点没有启动起来本人的DataNode节点可能是我使用hadoop dfs -format次数太多了，我只是一个大数据的小学生哪知道这么多。然后DataNode就启动不起来了。造成DataNode启动不起来我的解决方案是将tmp文件下存放的临时文件都删除了 ...
2019-11-11 23:13:44
777
原创 HDFS解释一下安全模式
HDFS在slave节点上创建信息，失败显示强制关闭安全模式命令hadoop dfsadmin -safemode leave显示ok了！解释一下原理当前处于安全模式之下。1、什么是安全模式安全模式是HDFS处于一种特殊状态，在这种状态下HDFS只接受读取文件，不能进行创建和修改等请求在NameNode节点启动的时候，HDFS会进入安全模式，但是在DataNode节点启动的...
2019-11-11 16:31:17
184
原创 爬虫学习之路
爬虫学习之路爬虫前奏爬虫1爬虫2-正则表达式爬虫3-json文件爬虫4-scrapy框架架构爬虫前奏## 爬虫前奏1爬虫1爬虫2-正则表达式爬虫3-json文件爬虫4-scrapy框架架构[1] https://download.csdn.net/download/qq_36993547/10952448 包括一些爬虫的代码，慢慢都会上传的...
2019-11-09 15:12:34
277
原创 JAVA_HOME is not set
关于JAVA_HOME没有设置本人是在配置spark集群的时候显示 JAVA_HOME is not set具体如下：但是我们在cd $JAVA_HOME还是能够进去。查阅网上资料有各种各样的解决办法 但是看着没啥关系于是我猜测是没有找到java路径 我就在conf文件下的spark-env.sh 加上exportexport SPARK_MASTER_IP=mast...
2019-11-09 15:03:53
4162
原创 kafka对接flume
kakfa对接flume以及时间同步集群中的多台服务器进行时间同步yum install ntpd 但是当位置定位是上海之后，发现时间还是没有同步这个时候可以这样操作一波首先可以关闭时间不同的ntpdservice ntpd stop#then#找另一台服务器进行时间同步ntpdate [ip地址]美国标准技术院时间服务器：time.nist.gov（192.43.244...
2019-10-30 20:57:33
608
原创 zookeeper无法正常启动
你赞赞 我赞赞，世界是如此美好zookeeper单节点无法启动的问题当你看日志文件没有看出遇到的问题时，你可以这样排查一波检测一点点排除看看哪里出了问题查看是否安装JVMjavacjavajava -version上面的都可以查看查看节点是否占用netstat -apn | grep 2181lsof -i:2181上面任意一个命令都可以查看如果有，则kill了它...
2019-10-29 17:20:31
452
原创 全局变量与局部变量报错解释
全局变量与局部变量最近在写python程序遇到的小问题之前也没有怎么注意：提醒自己一下UnboundLocalError： local variable ‘value’ referenced before assignment在函数外部已经定义了变量n，在函数内部对该变量进行运算，运行时会遇到了这样的错误：主要是因为没有让解释器清楚变量是全局变量还是局部变量。如果在函数外部定义了全局变...
2019-09-21 22:01:49
930
原创 kafka生产出现问题
kafka生产者出现错误由于莫名其妙的中断造成一下错误由于莫名其妙的中断造成一下错误根据网上的各种设置 各种配置kafka的东西，感觉都没有问题。对配置文件进行修改修改。之后将zookeeper重新进行配置按来的方法继续配置 终于搞定。...
2019-09-14 20:13:36
901
原创 忘记root 修改root密码
linux下超级简单修改root密码我已经忘记了root密码的情况下的修改我已经忘记了root密码的情况下的修改输入好几遍密码都不对sudo passwd root 直接进行修改第一个输入自己用户的密码第二个是root的密码...
2019-09-08 11:16:32
128
原创 python面试——迭代器，生成器，协程，装饰器
python面试——迭代器，生成器，协程，装饰器迭代器生成器协程装饰器迭代器生成器是迭代器的一种。从迭代器开始说起。可迭代协议：含iter（）方法。且可迭代对象中的iter（）方法返回的是一个对应的迭代器。（如list对应的迭代器就是list_iterator）迭代器协议：-含iter（）方法。且方法返回的iterator对象本身-含next（）方法。每当next()方法被调用，返回...
2019-09-08 11:13:30
1618
原创 python面试——操作类
python面试——操作类Python 交换两个变量的值在读文件操作的时候会使用 read、readline 或者 readlines，简述它们各自的作用json 序列化时，可以处理的数据类型有哪些？如何定制支持 datetime 类型？json 序列化时，默认遇到中文会转换成 unicode，如果想要保留中文怎么办？有两个磁盘文件 A 和 B，各存放一行字母，要求把这两个文件中的信息合并(按字母...
2019-08-14 21:44:08
683
1
原创 python面试——数据类型
python面试——数据类型已知 AList = [1,2,3,1,2]，对 AList 列表元素去重，写出具体过程。如何实现 "1,2,3" 变成 ["1","2","3"]给定两个 list，A 和 B，找出相同元素和不同元素[[1,2],[3,4],[5,6]] 一行代码展开该列表，得出 [1,2,3,4,5,6]合并列表 [1,5,7,9] 和 [2,2,6,8]如何打乱一个列表的元素？字...
2019-08-14 12:15:32
461
原创 数据类型——字符串
python面试——数据类型列举 Python 中的基本数据类型？如何区别可变数据类型和不可变数据类型将"hello world"转换为首字母大写"Hello World"如何检测字符串中只含有数字?将字符串"ilovechina"进行反转Python 中的字符串格式化方式你知道哪些？有一个字符串开头和末尾都有空格，比如“ adabdw ”，要求写一个函数把这个字符串的前后空格都去掉。获取字符串”...
2019-08-14 11:49:43
366
原创 python面试——语言特性
语言特性谈谈对Python和其他语言的区别简述解释型和编译型编程语言Python 的解释器种类以及相关特点？Python3 和 Python2 的区别？Python3 和 Python2 中 int 和 long 区别？xrange 和 range 的区别？谈谈对Python和其他语言的区别Python 是一门语法简洁优美,功能强大无比,应用领域非常广泛,具有强大完备的第三方库，他是一门强类型...
2019-08-14 11:27:24
271
转载 python面试
python面试之路最近在刷面试题,所以需要看大量的 Python 相关的面试题，从大量的题目中总结了很多的知识，同时也对一些题目进行拓展了，但是在看了网上的大部分面试题不是很满意，一个是有些部分还是 Python2 的代码，另一个就是回答的很简单，有些关键的题目，也没有点出为什么，最重要的是还有一些复制粘贴根本就跑不通，这种相信大家深有体会吧，这样就导致我们可能需要去找其他人发的类似的教程。难...
2019-08-12 09:43:39
4316
16
转载 keras实现常用深度学习模型LeNet，AlexNet，ZFNet，VGGNet，GoogleNet，Resnet
LeNet#coding=utf-8 from keras.models import Sequential from keras.layers import Dense,Flatten from keras.layers.convolutional import Conv2D,MaxPooling2D from keras.utils.np_utils import to_ca...
2019-08-11 22:48:47
201
原创 hadoop大数据平台搭建
大数据平台搭建大数据平台搭建虚拟机环境准备修改ip,映射IP地址ssh无密码通信同步时间关闭防火墙安装jdkhadoop平台正式搭建安装hadoop安装 kafka安装spark大数据平台搭建zookeeper+kafka+spark + Hadoop+ yarn虚拟机环境准备我们在搭建大数据分布式系统之前需要对软件和虚拟机的环境机型准备：修改ip,映射IP地址1.修改主机名vim ...
2019-08-11 17:59:37
4103
4
原创 爬虫学习之路4
爬虫学习之路爬虫4爬虫1-re爬虫实战2-古诗文爬虫爬虫4爬虫1-re爬虫项目比较大的时候，大家还是主要使用框架爬虫re正则化表达式常用函数#Author lpf#usr/bin/srcimport re#1、 find_all函数 查找全部# text = "apple's price is $99,orange's price is $10"# ret = re.fin...
2019-08-09 20:47:42
210
原创 爬虫学习之路
爬虫学习之路爬虫2爬虫1-bs解析爬虫2-lxml解析爬虫实战3-电影天堂爬虫实战4-豆瓣电影爬虫2爬虫1-bs解析‘’’find :找出第一个标签find_all：找出所有的标签‘’’‘’’1、string：获取某个标签下的非标签字符串，返回来的是个字符串2、strings：获取某个标签下的子孙非标签字符串，返回来的是个生成器3、stripped_strings:获取某个标签...
2019-08-09 20:28:28
2393
原创 爬虫学习之路
爬虫学习之路爬虫爬虫1-cookie爬虫2-代理设置爬虫3-不信任的ssh证书爬虫4-模拟登陆爬虫爬虫1-cookiecookie的使用：#Author lpf#usr/bin/src'''1、利用cookies属性拿到返回的cookie的值2、使用requests，达到共享cookie的目的。'''import requests#1response = requests....
2019-08-08 17:47:54
303
原创 爬虫学习之路
爬虫学习之路爬虫前奏爬虫前奏1爬虫1爬虫2-正则表达式爬虫3-json文件爬虫4-scrapy框架架构爬虫前奏爬虫前奏1[1] https://download.csdn.net/download/qq_36993547/10952448包括一些爬虫的代码，慢慢都会上传的爬虫1爬虫2-正则表达式爬虫3-json文件爬虫4-scrapy框架架构...
2019-08-08 17:33:01
424
转载 flask --- 路由与视图函数
1、概述路由是Model View Controller架构的Web框架中的相当重要的一个概念。路由就是在迷茫中找出一条路的意思。在Flack框架中，路由表示为用户请求的URL找出其对应的处理函数的意思。2、路由简单讲解在Flask应用中，路由是指用户请求的URL与试图函数之间的映射。Flask框架根据HTTP请求的URL在路由表中匹配预定义的URL规则，找到对应的视图函数，并将视图函...
2019-03-12 19:11:12
686
原创 python情人节之玫瑰花与表白方式
import turtledef initialization(): ''' 初始化画布和画笔 ''' turtle.setup(width=0.9, height=0.9) turtle.speed(5)def flower(): ''' 勾勒出花蕊 ''' turtle.goto(0, 200) tu...
2019-02-14 21:47:44
4623
原创 java简单学生系统
姓名 学号 数学实例化学生对象保存到数组中。实现以下功能：1、查看所有学生成绩2、修改成绩、学号、姓名3、退出系统package base_java1;import java.util.Scanner;public class look_student_data{ public static void main(String[] args) { Stud...
2019-02-12 09:11:38
406
原创 python数组的基本应用
#Author lipengfei#coding --utf-8---'''数组的一些基本应用'''import numpy as npmy_list = [1, 2, 3]x = np.array(my_list)print('列表：', my_list)print('Array: ', x)print(x.shape,x.ndim)#行列print(np.array([1...
2019-02-11 14:37:57
529
原创 python实现回归
#Author lpf#usr/bin/srcimport numpy as npfrom scipy import statsimport matplotlib.pyplot as pltfrom sklearn.preprocessing import PolynomialFeaturesfrom sklearn.linear_model import LinearRegress...
2019-02-11 14:32:49
1180
原创 python画太极图
#Author lpf#usr/bin/src""" """import turtlefrom svg_turtle import SvgTurtleimport svgwrite# 定义大圆半径200,则小圆半径big_radius * 0.5, 假如内部最小圆半径为big_radius*0.15big_radius = 200def main(): turt...
2019-02-11 14:20:23
7949
2
原创 爬虫豆瓣
python 爬虫爬取豆瓣读书信息程序主要是由 6 个函数组成：get_html()：请求页面，返回页面 html 源码。get_pageurl(base_url)：从 html 源码中提取分页链接部分字段。def bookinfo(url)：提取图书信息，以列表形式返回。get_num(person)：判断评价人数，没有评价人数的按 10 人处理。write2csv(...
2019-02-11 11:31:07
451
爬虫学习之路1
2019-08-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人