weixin_43559498的博客

原创 pytorch基础知识

1、tensor和numpy array之间的相互转换# tensor和numpy array之间的相互转换import numpy as npg = np.array([[1,2,3],[4,5,6]])h = torch.tensor(g)print(h)i = torch.from_numpy(g)print(i)j = h.numpy()print(j)tensor([[1, 2, 3],[4, 5, 6]])tensor([[1, 2, 3],[4, 5, 6]])

原创 DeepLearning--pytorch预备知识01

一、节省内存运行一些操作可能会导致为新结果分配内存。 例如，如果我们用Y = X + Y，我们将取消引用Y指向的张量，而是指向新分配的内存处的张量。在下面的例子中，我们用Python的id()函数演示了这一点， 它给我们提供了内存中引用对象的确切地址。 运行Y = Y + X后，我们会发现id(Y)指向另一个位置。 这是因为Python首先计算Y + X，为结果分配新的内存，然后使Y指向内存中的这个新位置。before = id(Y)Y = Y + Xid(Y) == before这可能是不

原创 解决高方差问题及模型正则化(岭回归和LASSO回归)

一、解决高方差的通常手段：1.降低模型复杂度2.减少数据维度；降噪3.增加样本数（模型太过复杂，模型中的参数非常多，而样本数不足以支撑计算出这么复杂的参数）4.使用验证集5.模型正则化二、模型正则化(1)什么事模型正则化？我们之前使用多项式回归(n=100)过拟合一个样本的例子，可以看到这条模型曲线非常的弯曲，而且非常的陡峭，可以想象这条曲线的一些θ系数会非常的大。 模型正则化需要做的事情就是限制这些系数的大小。(2)模型正则化基本原理：一些需要注意的细节：对于θ的求和i是从1到n,

原创 sklearn中交叉验证的两种方式

1、cross_val_scorefrom sklearn.model_selection import cross_val_scoreknn_clf = KNeighborsClassifier()# 返回的是一个数组，有五个元素，说明cross_val_score方法默认将我们的数据集分成了五份# 这五份数据集进行交叉验证后产生了这五个结果# cv默认为5，可以修改改参数，修改修改不同分数的数据集cross_val_score(knn_clf,X_train,y_train,cv=5)#

原创 MachineLearning-liuyubobobo-线性回归评价指标

原创 机器学习2021-李宏毅教授01

1、损失函数对模型优化(梯度下降)可能有影响：在分类问题上，cross-entropy(交叉熵)效果好于MSE，理由如下图：当处于大损失值时，MSE梯度缓慢，梯度下降可能会卡住，而Cross-entropy梯度明显下降快。2、batch normalization(批量标准化)对模型优化(梯度下降)的影响：在训练时，逐个累计更新平均值u；在测试时，用训练集的平均u做计算。如下图：运用批量标准化对结果有影响(如下图)：注：标准化后训练比较缓慢，可增大步长倍数来加速梯度下降。...

原创 深度学习练习笔记DeepLearning-吴恩达教授-week2

1、当您想将形状为 (a,b,c,d) 的矩阵 X 展平为形状为 (b ∗ c ∗ d, a) 的矩阵 X_flatten 时，一个技巧是使用：X_flatten = X.reshape(X.shape[0], -1).T # X.T is the transpose of X#应用train_set_x_flatten = train_set_x_orig.reshape(train_set_x_orig.shape[0], -1).T # 将数据堆到shape[0]行中，每行放多少数据

原创 SQL进阶学习-mysql06

1、JSON类型UPDATE productsSET properties = '{ "dimensions":[1,2,3], "weight":10, "manufacturer":{"name":"sony"}}'WHERE product_id = 1利用MySQL的JSON函数：UPDATE productsSET properties = JSON_OBJECT( 'weight',10, 'dimensions',JSON_ARRAY(1,2,3),

原创 Machine Learning skill01

1、保存模型，避免每次都要训练模型from sklearn.externals import joblibjoblib.dump(model,'music-recommender.joblib')后面使用时调用：model = joblib.load('music-recommender.joblib')predictions = model.predict([[21,1]])2、可视化决策树from sklearn import treetree.export_graphviz(mod

原创 Mysql的LIKE关键字、INTERVAL关键字及INTERNAL()函数

1、LIKE关键字：用于查找,如：LIKE 'ABC%'LIKE '%ABC'2、INTERVAL关键字：用于计算时间间隔，以下用法：①计算时间间隔：SELECT NOW()-INTERVAL '2' HOUR;INTERVAL '1 3' YEAR_MONTH注：INTERVAL后面的数字可以用数字格式或者字符格式，当时间单位是YEAR_MONTH（表示几年又几个月）这种时，必须用字符格式。②用在时间函数中INTERVAL关键字可以用在DATE_SUB(),SUBDATE(),ADD

原创 SQL进阶学习-mysql05

1、存储过程带参数的存储过程：DELIMITER $$CREATE PROCEDURE get_clients_by_state(state char(2))BEGIN SELECT * FROM clients c WHERE c.state = state;END $$DELIMITER ;调用存储过程：CALL get_clients_by_state('CA')

原创 SQL进阶学习-mysql04

1、ALL:逐个与后面的每个元素值进行比较WHERE invoice_total > ALL(150,130,167,...)应用：①子查询返回值为一列数据是，应用ALL进行逐个比较；WHERE invoice_total > ALL( SELECT invoice_total FROM invoices WHERE client_id = 3)②返回值是一列值是也可在子函数中用MAX(),MIN()等函数返回自己需要的值，此时不需要ALL，直接单一比较即可。WHERE

原创 SQL进阶学习-mysql03

1、DISTINCT关键字DISTINCT用于筛选相同值只显示一次，如：COUNT(client_id) AS total_records此处应为有client_id相同的值都计入在内，我们为了每个id只计数一次：COUNT(DISTINCT client_id) AS total_records2、HAVINGHAVING子句可以在我们分组之后(生成的列)筛选数据，且HAVING之后的条件必须在SELECT子句中出现；WHERE子句可以在我们分组之前(现有的列)筛选数据；两者都是可

原创 SQL进阶学习-mysql02

1、自连接自连接即将表和自己连接，和将表与其他表连接大致相同，区别在于：两次引用要使用不同的别名USE sql_hr;SELECT e.employee_id,e.first_name,m.first_name AS manager FROM employees eJOIN employees m ON e.reports_to = m.employee_id查询结果：2、复合连接条件即多个列值作为主键条件进行连接JOIN .... ON oi.order_id = oin.o

原创 SQL进阶学习-mysql01

1、优先级 AND > ORWHERE birth_date >'1990-01-01' OR points > 1000 AND state = 'VA'此处先运算AND，再运算OR，相当于给后两项加上（），所以最后加()来明确顺序。WHERE birth_date >'1990-01-01' OR (points > 1000 AND state = 'VA')2、LIKE运算符WHERE last_name LIKE '%y'WHERE last_nam

原创 Python定义函数的参数问题

位置参数:传入的值按照位置顺序一次赋值。如：pow(x)或者pow(x,n)默认参数：如def power(x, n=2)，这样，当我们调用power(5)时，相当于调用power(5, 2)可变参数：可变参数就是传入的参数个数是可变的。def calc(numbers): 调用时calc([1, 2, 3])若利用可变参数：调用时calc(1, 2, 3)所以，定义可变参数和定义一个list或tuple参数相比，仅仅在参数前面加了一个*号。关键字参数：允许传入0个或任..

原创 字符编码方式

一、字符编码方式：1.ASCII编码：1个字节，8位2.Unicode编码：2个字节，16位(解决ASCII码位数不够无法表示汉字等问题，即解决乱码问题)3.UTF-8编码：根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有生僻字才会被编码成4-6个字节(解决Unicode表示字母时的存储空间浪费问题，本着节约精神，出现可变字长编码UTF-8编码，如果传输文本中包含着大量英文字符，用UTF-8编码就能节省空间)从上面的表格还可以发现，UTF-8编码有一个

原创 解决mysql的数据导入导出配置问题

SELECT * FROM scrapy_data INTO OUTFILE '/tmp/runoob.txt';报错：ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement问题解决：查看secure_file_priv配置，查看方法为show variables like '%secure%';secure_f

原创 scrapy持久化存储

一、基于终端指令–要求：只可以将parse方法的返回值存储到本地的文本文件中–注意：持久化存储对应的文本文件的类型只可以为：‘json’,‘jsonlines’,‘jl’,‘csv’,‘xml’–指令：scrapy crawl xxx -o filePath–好处：简洁高效便捷–缺点：局限性比较强(数据只可以存储到指定后缀的文本文件中)二、基于管道：–编码流程：–数据解析–在item类中定义相关的属性–将解析的数据封装到item类型的对象–将item类型的对象提交给管道进行持久化存储的

原创 python爬虫 多任务异步协程遇到的问题

一、在异步协程中如果出现了同步模块相关的代码，那么就无法实现异步同步模块：如time模块无法实现异步time.sleep(2)要实现异步需要修改为异步相关代码asyncio.sleep(2)二、当在asyncio中遇到阻塞操作必须进行手动挂起await asyncio.sleep(2)await为挂起关键字...

原创 python网络爬虫解决爬取页面的乱码问题

用python爬取网页的乱码问题解决方法：一、将获取的网页响应，手动设置响应数据的编码格式response.encoding = 'utf-8'二、找到发生乱码所对应的数据，对数据单独进行解码编码img_name = img_name.encode('iso-8859-1').decode('gbk')至此，乱码问题应该会得到解决！...

原创 python引用实参传入

int型为不可变类型改变值后，内存地址不同列表为可变类型改变值后，内存地址相同```pythondef test1(a): print(a) print(id(a)) a+=a print(a) print(id(a))#int型：不可变类型b=100test1(b)#列表型：可变类型c=[10,10]test1(c)

原创 matplotlib制图解决中文字体问题

matplotlib制图时报错：RuntimeWarning: Glyph missing from current font. font.set_text(s, 0, flags=flags)警告原因，plt 画图是找不到字体，需要手动设置：plt.rcParams[‘font.sans-serif’]=[‘SimHei’] #显示中文标签另外：mac 安装配置一次可解决Linux u...

原创 sql server2012 问题修复

安装sql server2012 第一次失败，启动没有反应。只好卸载干净重新安装，再次启动Microsoft SQL Server Management Studio，出现cannot find one or more components错误，搜索解决方案，都没用。以下方法解决了我的问题。供大家参考：1、删除Microsoft Visual Studio 2010 Shell(Isolate)...

原创 github显示网页错误或者一直加载中

首先要修改hosts的权限，然后在hosts文件中加入下列IP，保存即可生效windows下路径为：C:\Windows\System32\drivers\etc\hostsLinux下路径：/etc/hosts#github192.30.253.113 github.com192.30.253.113 github.com192.30.253.118 gist.github.com...

原创 CSDN-markdown编辑器

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...