- 博客(90)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 kafka连接报错kafka.errors.NoBrokersAvailable： NoBrokersAvailable
kafka连接报错kafka.errors.NoBrokersAvailable： NoBrokersAvailable问题: 本地windows系统远程连接kafka报错，kafka.errors.NoBrokersAvailable: NoBrokersAvailable。解决: 在网上看到说是hosts文件需要修改，找到windows系统中的hosts文件，位置在C:\Windows\System32\drivers\etc\hosts，在里面加上如下格式内容： IP地址
2020-12-08 18:25:46
2040
转载 Kafka 设计与原理详解
链接：https://blog.csdn.net/suifeng3051/article/details/48053965
2020-12-07 18:47:35
186
原创 pyspark之线性回归
创建SparkSession对象from pyspark.sql import SparkSessionsaprk = SparkSession.builder.appName('log_reg').getOrCreate()读取数据集df = saprk.read.csv("./Linear_regression_dataset.csv", inferSchema=True, header = True)探究性数据分析df.printSchema()df.descr
2020-12-02 23:54:36
2514
原创 spark之CountVectorizer
CountVectorizer会统计特定文档中单词出现的次数，并且会根据单词的频率进行排序，频率高的排在前面，当频率相同时，则它的位置个人感觉是随机的。因为太过例子跑出来，每一次都不相同。##语料被称为文本文档的完整集合。##标记化，将指定语句或文本文档的词语集合划分成单位/独立词语的方法被称为标记化from pyspark.sql import SparkSession####引入对象 创建RDDspark = SparkSession.builder.appName('nlp').ge
2020-12-02 22:57:52
1001
原创 python spark常用方法总结
###统计行数df.count()##获取df的列名: df.columns###显示当前值 不带参数默认是显示前面20行df.show() df.show(2, False) ##show括号里面传入参数可以显示查看几行 show(2,False) False 是否全部显示 False 不隐藏##查看列的方式 会显示列的数据类型以及列名df.printSchema()###查看特定的列df.select(["key"]).show(5)###返回每一列的统计指标df.d.
2020-11-25 21:59:09
732
转载 Keras下载数据失败，本地导入
Keras下载数据失败，本地导入fashion = tf.keras.datasets.fashion_mnist(train_images, train_labels), (test_images, test_labels) = fashion.load_data()错误如下：我们可以手动下载所需要的数据到本地或上传到服务器。然后通过如下的代码对压缩的文件进行加压缩读取。def load_data(path, files): import gzip ###解压缩gz文件
2020-11-25 19:18:00
455
转载 centos安装tensorflow 亲测有效
https://blog.csdn.net/snail_youth/article/details/88805662
2020-11-25 12:19:27
217
原创 不一样的numpy解mode
import numpy as npnums = np.random.randint(1, 10, size = 20)counter = np.bincount(nums)mode = np.argmax(counter)print(mode)其中bincount()返回的值也是一个数组，这个数组比较特殊，数组的数值对应的索引在原数组中出现的次数。# 我们可以看到x中最大的...
2020-05-07 22:12:54
570
原创 python之类的详解
class Animal: formula = ['color','weight','age'] #类的属性 def eat(self): #类的方法 print("eating...")self 这个参数其实就是被创建的实例本身。self这个参数名称是可以随意修改名称的，但是按照Python的规矩，我们还是统一使用self。魔术方法...
2020-05-07 17:50:18
338
原创 python之关键词参数位置参数详解
关键词参数以名称作为一一对应的参数传入方式被称作是关键词参数。def area(base_up, base_down, height): return 1 / 2 * (base_up + base_down) * height位置参数填入的参数1,2,3分别对应着参数base_up,base_down和height,这种传入参数的方式被称作为位置参数。area(1...
2020-05-07 16:58:23
425
原创 python之客户逾期还款业务
数据源结构：数据集是Lending Club平台发生借贷的业务数据，共有52个变量，39522条记录。1、数据预处理去掉一些明显没用的特征。import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsimport warningswarnings....
2020-05-07 14:58:28
1820
原创 机器学习之线性回归详解
回归分析回归分析是用来评估变量之间关系的统计过程。用来解释自变量X与因变量Y的关系。即当自变量X发生改变时，因变量Y会如果变化。线性回归线性回归，是回归分析的一种，评估的自变量X和因变量Y之间是一种线性关系、简单线性回归我们以房屋面积（）与房屋价格（）为例，两者是一种线性关系，我们假设比例为：为了能够让方程具有更广泛的适应性，增加一个截距，设为，多元线性回归...
2020-05-06 14:26:26
866
原创 导入sbt项目时出错，服务器访问错误，未解决的依赖项(Error while importing sbt project , Server Access error, unresolved depen
导入sbt项目时出错，服务器访问错误，未解决的依赖项(Error while importing sbt project , Server Access error, unresolved dependencies)打开 sbt的安装路径（D:\sbt），打开conf文件夹下的sbtconfig.txt，添加# Set x _JAVA_OPTIONS-Djava.net.pref...
2020-05-04 09:23:32
428
原创 修改 jupyter notebook 默认浏览器
修改 jupyter notebook 默认浏览器打开文件 jupyter_notebook_config.py 。一般都在该目录下（C:\Users\Administrator\.jupyter ） 找到 # c.NotebookApp.browser = '''' 添加import webbrowserwebbrowser.register("chrome", None, web...
2020-05-03 21:29:28
159
原创 python之区块链异常交易
区块链非法交易预测分析import pandas as pdimport numpy as np from sklearn.model_selection import train_test_splitimport matplotlib.pyplot as pltfrom sklearn.utils import shufflefrom sklearn.metrics import...
2020-04-26 17:03:56
1157
1
原创 Mysql数据库刷题3
1、体育馆的人流量请编写一个查询语句，找出人流量的高峰期。高峰期时，至少连续三行记录中的人流量不少于100。SELECT DISTINCT S1.*FROM stadium S1WHERE S1.people >= 100AND (SELECT COUNT(*) FROM stadium WHERE id BETWEEN S1.id AND S1.id+2 AND peopl...
2020-04-24 18:54:08
363
原创 Kaggle之泰坦尼克号生生存率预测
1、问题什么样的人在泰坦尼克号中更容易存活？2、理解数据从Kaggle泰坦尼克号项目页面下载数据：https://www.kaggle.com/c/titanic# 忽略警告提示import warningswarnings.filterwarnings('ignore')#导入处理数据包import numpy as npimport pandas as pd...
2020-04-24 14:58:05
1525
原创 数据库刷题2
1、至少连续出现三次的数字SELECT DISTINCT(L1.num) AS ConsecutiveNumsFROM Logs L1, Logs L2, Logs L3WHERE L1.Id + 1= L2.IdAND L2.Id + 1= L3.IdAND L1.num = L2.numAND L2.num = L3.num2、查找重复的电子邮箱SELECT DIST...
2020-04-23 17:20:32
181
原创 python之客户流失预警
背景客户流失率问题是电信运营商面临的一项重要的业务。根据测算，招揽新的客户比保留住既有客户花费大得多（通常5-20倍的差距）。因此，如何保留住现在的客户对运营商而言是一项非常有意义的事情。数据字段State:州名 Account Length:账户长度 Area Code：区号 Phone：电话号码 ‘Int'l Plan：国际漫游需求与否 VMail Plan：参与活动 ...
2020-04-23 09:13:19
3034
1
原创 Mysql数据库刷题1
1、查找入职员工时间排名倒数第三的员工的所有信息CREATE TABLE `employees` (`emp_no` int(11) NOT NULL,`birth_date` date NOT NULL,`first_name` varchar(14) NOT NULL,`last_name` varchar(16) NOT NULL,`gender` char(1) NOT N...
2020-04-22 21:45:27
216
原创 python之AQI分析与预测
AQI分析与预测背景介绍AQI，指空气质量指数，用来衡量空气清洁或污染的程度。值越小，表示空气质量越好。分析目标哪些城市的空气质量较好/较差？ 空气质量在地理位置分布上，是否具有一定的规律性？ 临海城市的空气质量是否有别于内陆城市？ 空气质量主要受哪些因素影响？ 全国城市空气质量普遍处于何种水平？ 怎样预测一个城市的空气质量？1、读取数据#导入相对应的数据...
2020-04-22 00:02:44
3038
1
原创 数分-matplotlib
Matplotlib是python的一个数据可视化工具库。 特点：专门用于开发2D图表(包括3D图表)， 操作简单。折线图的参数如下：import matplotlib.pyplot as plt ###引入画图模块pyplot'''color 颜色（参数是red，yellow等颜色单词， 也可以是十六进制的颜色）alpha 透明度 （0-1）linesty...
2019-12-12 23:49:44
157
转载 hadoop配置环境后jps没有显示TaskTracker和JobTracker进程
链接：https://www.cnblogs.com/hipth/p/6728742.html
2019-11-19 20:03:32
574
转载 python 数据分析 高效的学习路径
链接：https://blog.csdn.net/u013421629/article/details/79136086
2019-10-17 13:36:30
116
转载 python中的sum函数.sum(axis=1)
原文链接：https://blog.csdn.net/ikerpeng/article/details/17026011
2019-08-13 22:50:13
224
转载 正则表达式中需要转义的字符
$匹配输入字符串的结尾位置。如果设置了 RegExp 对象的 Multiline 属性，则 $ 也匹配 ‘\n' 或 ‘\r'。要匹配 $ 字符本身，请使用 \$。( )标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。要匹配这些字符，请使用。*匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 \*。+匹配前面的子表达式一次或多次。要匹配 + ...
2019-06-28 10:42:05
300
转载 序列化与反序列化（其实就是一种将各种数据转换成二进制流与二进制流的读取的概念）
链接：https://blog.csdn.net/lengye7/article/details/78620150
2019-06-23 09:17:15
849
转载 深入理解python正则之括号的捕获和非捕获属性
链接：https://blog.csdn.net/Leonard_wang/article/details/79813425
2019-06-21 15:24:00
332
原创 正则之手机号
中国通信运营商有：移动、联通、电信中国移动：134（不含1349）、135、136、137、138、139、147、148、150、151、152、157、158、 159、165、178、182、183、184、187、188、198中国联通：130、131、132、140（物联网）145（上网卡）、146、155、156、166、185、186、175、176中国电信：133、13...
2019-06-02 11:28:05
463
原创 python之mysqldb的安装
可能通过命令：pip install mysqldb，可能安装不了可以通过网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysql-python下载.whl文件进行最后，通过pip install 文件名.whl去安装。...
2019-06-01 20:58:31
105
转载 python同时替换多个字符串方法
链接：https://blog.csdn.net/qq_30638831/article/details/81153011
2019-06-01 11:07:51
3324
转载 Python中字典和列表的索引效率
链接：https://blog.csdn.net/younger_china/article/details/81226050
2019-06-01 11:05:13
1458
转载 python中unicode 和 str相互转化
python中的str对象其实就是"8-bit string" ，字节字符串，本质上类似java中的byte[]。而python中的unicode对象应该才是等同于java中的String对象，或本质上是java的char[]。str: s = "你好"unicode: u = u"你好“unicode转化为str，采用encode 编码：str = u.enco...
2019-05-25 19:24:43
409
转载 Python，将Unicode16进制编码转换为汉字方式和注意点
第一种：eval1 = eval("u" + "\'" + text + "\'")第二种b = bytes("abc", 'utf8')print(b.decode('utf8'))第三种 和第一种一样a = '\u5386\u9633\u9547'爬虫得到的如上字符串 若想输出时候返回中文字符解决方法如下：a = "u'"+a+"'"print(eval(a...
2019-05-25 17:42:14
1935
1
转载 Python中int()函数的用法
链接：https://blog.csdn.net/killua_hzl/article/details/5580661
2019-05-25 17:15:04
1336
原创 python 之 TypeError: 'int' object is not iterable
TypeError: 'int' object is not iterable程序今天出现这个问题，网上找了一个可以通过使用range去实现遍历。还有一种方法我们通过生成器去实现int类型的可遍历def find(self, prep): p = self._head while p is not None: if prep(p.elem): yield ...
2019-05-20 11:16:38
2230
原创 python之单链表的简单实现
#!/usr/bin/python3# -*- encoding: utf-8 -*-class Lnode: def __init__(self, elem, next_ = None):##初始化链表，并结点的next赋None self.elem = elem self.next = next_llist1 = Lnode(1)##头结点p = llist1 ...
2019-05-20 09:58:02
313
原创 python之函数对象和方法对象
在某个类中，如果实例化一个对象，并通过该对象去调用类中定义的方法，则Python解释器就会创建一个方法对象。如果直接通过类名去调用方法，其值就是普通的函数对象。例子类 C 函数方法 mC.m 函数对象p = C()p.m 方法对象p.m(...)实际上等价于C.m(p, ...)注意：方法对象和函数对象不同，它实际上包含了两部分：一个是由类中的函数定义生成...
2019-05-19 13:26:57
1247
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人