- 博客(45)
- 收藏
- 关注
RSS订阅原创 kettle csv导入数据库失败
解决方式：调整数据库编码，同时表字段编码也需要同时调整。参考其他文章调整了数据库编码还是没用，原来是表的编码也要重新调整，如下，原来字段是utf8，也要换成utf8mb4.kettle csv导入mysql数据库时，可能出现以下错误，可能原因，字符中有表情符号;
2024-04-16 17:21:50
185
1
原创 A value is trying to be set on a copy of a slice from a DataFrame 解决方案
1、当需要对dataFrame迭代赋值时，会产生上述错误，可采用下列方式for i in duplicates.index: duplicates.at[i,'columsname'] = 'abc'2、字符格式化问题 对某一列formata['lon'].astype(float).map('{:.1f}'.format)保存时format 保留三位all_mix.to...
2018-04-09 15:38:58
7863
原创 python 调用elasticsearch的几种不同方式
from elasticsearch import Elasticsearchfrom elasticsearch_dsl import Search,Q,scanes = Elasticsearch()1、仿照kibana中的写法q = {"query": {"match": {"name": "easy"}}}res = es.Search(body=q)#这中方式返回的结果和k...
2018-03-09 17:29:24
4970
原创 网易云歌单爬取并保存
爬取网易云2011-2017melon 年榜歌单并保存# -*- coding: utf-8 -*-"""Created on Thu Jan 25 19:57:09 2018@author: marson"""import requestsfrom bs4 import BeautifulSoupimport jsonimport create_songlistdef...
2018-03-06 22:51:47
2696
原创 kibana/elasticsearch使用
--获取某一特定值的信息<REST Verb> /<Index>/<Type>/<ID>?<Rounting>=GET /yinshang/poi/4628754?routing=B00155MPVY—快捷查询无法查询中文字GET /dp_pois/_search?q=city:”藤县” —查询中文字符串GET /dp_...
2018-03-01 15:52:13
1570
原创 情感分析
相关数据集 –就是判断一句话的词性，可以从几个方面来看 1、分词，将一句话分成几个词语 不同的分词方法会产生不同的效果，利用jieba分词的默认形式（即每个字在词语中会且仅会出现一次） 2、判断词语的词性，如情感词，反义词，程度副词 。并用数字标注词语的性质[word,positon,score] –反义词可以直接算为-1 –jieba分词出
2017-05-04 16:09:10
1434
原创 基于networkx的《人民的名义》人物关系图
# -*- coding: utf-8 -*-"""Created on Wed May 3 12:58:30 2017https://zhuanlan.zhihu.com/p/24767513 参考链接@author: chuc"""import networkx as nximport matplotlib.pyplot as pltimport jiebaimport cod
2017-05-03 15:14:54
6977
14
原创 网易云音乐评论抓取及生成词云
在csdn首页上偶然看到了这个话题，然而那篇文章并没有分词，而且只有首页的评论，找了相关的资料，都不能直接运行。# -*- coding: utf-8 -*-"""Created on Tue May 2 09:34:33 2017http://blog.csdn.net/marksinoberg/article/details/70809830 参考链接http://blog.csdn.
2017-05-02 16:55:17
3784
原创 zeppelin 初使用
下载： http://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.7.1/zeppelin-0.7.1-bin-all.tgz 解压： 运行： bin/zeppelin-daemon.sh start 有 start status restart stop等几种 打开： http://localhost:8080/ 默认8080
2017-04-27 14:11:42
2098
原创 多类svm
交叉验证 确定参数的选取（类似带反向传播的训练过程）loss 函数 SVM的损失函数想要SVM字正确分类上的得分始终比不正确得分高出一个边界值 图像x，类别标签y，f（x,W）得分值s 正则化惩罚 消除模糊性，对特定的权重W添加偏好，通过对所有参数进行逐元素的平方惩罚来抑制较大数值的权重对训练集中数据做出准确分类预测和让损失值最小化这两件事是等价的。softmax分类器 对多个分类的一般
2017-04-27 13:54:22
495
原创 tableau 初使用
数据链接 1、分析美国婴儿流行名字–（维度 Year 列）、（度量 Occurences 行） 得到折现图 随着年份的增加 出生婴儿数量变化趋势图（如果他的数据没有去除） 当对标记应用top name，并选择颜色。在Occurences添加（表计算-总额百分比-表向下）可以得到名字占比的变化趋势 可以看到取Michael流行了相当长的时间。相比以前，现在某一个名字的流行持续周期变短了。
2017-04-18 17:09:46
1806
原创 cs231n nn分类
#python3import numpy as npdef unpickle(file): #数据集的python3 实例 import pickle with open(file, 'rb') as fo: dict = pickle.load(fo, encoding='bytes') return dictdef load_CIFAR10
2017-04-13 17:41:29
997
原创 tensorflow 官方示例
1、手写图像识别（分类） x图像[none,780]，w权重[780,10] 输入图像矩阵–采用softmax（多项式逻辑）回归模型–通过交叉熵计算损失2、卷积神经网络 输入图像–卷积conv2d(x, W)（突出特征）-池化max_pool_2x2(x)（减少特征数量）3、手写图像的前馈神经网络流程 输入图像–隐藏层1 nn.relu(w,b)–隐藏层2 nn.relu(n1,b)–s
2017-04-13 17:34:22
2484
原创 tensorflow 手写图像验证
主要是为了讨论图像验证，利用最简单的训练代码。官方示例对验证过程只有简单的准确率输出，不直观。 为此，对单一图片进行验证 训练代码："""Created on Tue Mar 28 11:42:38 2017https://www.tensorflow.org/get_started/mnist/beginners@author: chuc"""from tensorflow.examp
2017-04-06 12:59:03
2200
3
原创 TensorBoard tf.summary.merge_all() AttributeError: 'NoneType' object has no attribute 'bucket 错误
InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor 'inputs/x_input' with dtype float [[Node: inputs/x_input = Placeholder[dtype=DT_FLOAT, shape=[], _devic
2017-04-05 15:53:25
4549
原创 BigDL 介绍
BigDL是基于Apache Spark的分布式深度学习框架，借助现有的Spark集群来运行深度学习计算，并简化存储在Hadoop中的大数据集的数据加载。1.1丰富的深度学习支持。模拟Torch之后，BigDL为深入学习提供全面支持，包括数字计算（通过Tensor）和高级神经网络 ; 此外，用户可以使用BigDL将预先训练好的Caffe或Torch模型加载到Spark程序中。1.2极高的性能。为了实
2017-04-01 11:44:34
4587
原创 TensorflowOnSpark 介绍与搭建
1.介绍TensorFlowOnSpark 为 Apache Hadoop 和 Apache Spark 集群带来可扩展的深度学习。 通过结合深入学习框架 TensorFlow 和大数据框架 Apache Spark 、Apache Hadoop 的显着特征，TensorFlowOnSpark 能够在 GPU 和 CPU 服务器集群上实现分布式深度学习。2.为了满足什么应用场景为了利用TensorF
2017-04-01 11:41:26
12450
10
原创 filebeat--logstash同步日志文件
#filebeat#配置- input_type: log # Paths that should be crawled and fetched. Glob based paths. paths: - /var/log/**.log - /var/log/**/**.log #filebeat不支持自动匹配目录及子目录 ignor
2017-04-01 11:16:58
5333
原创 nifi-搭建
NIFI 简介 1、NIFI 的概念 1.1 起源：NIFI是为了自动化的处理和管理系统之间的数据流而产生的，基本设计概念与基于流的编程[fbp]的主要思想密切相关 1.2 nifi核心概念 FlowFile：FlowFile表示通过系统移动的每个对象，包含数据流的基本属性 FlowFile Processor（处理器）：负责实际对数据流执行工作 Connect
2017-04-01 10:56:41
9720
4
原创 NIFI 保存数据流到本地py脚本
import jsonimport java.iofrom org.apache.commons.io import IOUtilsfrom java.nio.charset import StandardCharsetsfrom org.apache.nifi.processor.io import StreamCallbackfrom org.apache.nifi.processor
2017-04-01 10:33:20
1196
原创 kafka-step1
kafka 1、是什么 分布式流媒体平台，允许发不和记录流 允许以容错的方式存储记录流 可以处理记录流2、应用 构建在系统和应用程序之间的实时流数据 变换流3、核心概念 以topics为区分记录和分发流。 每个记录由一个键，值和时间戳组成4、核心API producer：生产流数据 （ip，zk，topic，dat
2017-04-01 09:36:53
259
原创 tensorflow-step3-卷积神经网络
卷积神经网络中有权重和偏差。神经元得到输入数据，进行内积运算，再进行激活函数运算。通俗解释计算方法： 参数W：输入尺寸 （n*m），即图像矩阵 参数F：过滤器（卷积），即一次计算的快大小（a*b） 参数P：填充零的数量，即在图像矩阵外围填充0的数量 步长S：即过滤器在在相邻矩阵移动的范围，1就是每次移动一个，2就是移两格通过上述参数即规则可以得到数据体的输出尺寸：输出数据体的空间尺寸为(W-
2017-03-30 10:58:47
302
原创 TensorFlow-step2-手写数字识别
softmax回归，多分类问题 W*x+bimport tensorflow as tfimport numpy as np#回归x = tf.placeholder(tf.float32, [None, 784]) #图像W = tf.Variable(tf.zeros([784, 10])) #权重b = tf.Variable(tf.zeros([10])) #偏差y
2017-03-29 16:07:43
317
原创 TensorFlow-step1
import tensorflow as tfnode1 = tf.constant(3.0, tf.float32) #数值不变print(node1)node2 = tf.constant(4.0)print(node2)print(node1,node2)sess = tf.Session()print(sess.run([node1, node2])) #调用run方法显
2017-03-29 14:59:14
347
原创 NIFI简单使用
1、实现日志的本地存储 且日志的名字不变 listentcp–evaluatejsonpath–mergecontent–putfile（evaluatescript） putfile不支持添加数据流到文件，故可以通过自己写脚本来实现。 2、实现日志到hdfs的保存 同理 3、根据不同数据内容决定数据流向（正则匹配） 4 getkafka
2017-02-24 20:12:32
2550
原创 数据库复习
1、select：条件查询、模糊查询、子查询，分组统计；select * from table where column_name = ？select * from table where column_name like ' 'select * from table where column_name in select Customer,SUM(OrderPrice) FROM O
2017-02-05 22:34:18
282
原创 django1.8+中bootstrap安装
1、下载bootstrap python2可通过pip install bootstrap-admin安装。python3通过pip安装，配置成功后会提示找不到model bootstrap-admin python3官网下载,解压后通过python setup.py install安装 2、在项目的setting.py中配置 INSTALLED_APPS中添加’bootstrap_admi
2017-01-26 15:39:07
1499
原创 java web项目开发流程
项目开发流程 1 需求分析 对项目功能的阐述。 如系统的登录，注册，查询，浏览，管理等。 2 系统分析 1、用例图 显示系统和系统外实体之间的交互。即对需求分析过程中项目操作的实现。 2、类图 显示了模型的静态结构，类的内部结构及类与类之间的关系。代码实现过程中的model与类对应。 3、序列图（活动图） 把用例图的需求进一步转化为
2017-01-08 17:08:32
7115
原创 python统计贴吧发帖数（找水王）
看着爬虫写的，原文代码有些地方不一样，修改了有问题的# -*- coding: utf-8 -*-"""Created on Sat Dec 17 22:22:08 2016统计发帖数@author: cc"""import urllibfrom bs4 import BeautifulSoupimport csvimport refrom collections import C
2016-12-21 22:35:05
683
原创 java复习--面试
1 jdbc:Class.forName("oracle.jdbc.driver.OracleDriver");//加载驱动 Connection con = DriverManager.getConnection("jdbc:@localhost:1433:test", "name", "password");//创建连接 PreparedStatement ps = con.prepa
2016-11-29 20:23:35
372
原创 社区医疗系统--总结（一）
1、对每一个表都应该建一个model（javabean，映射数据库实体），当有关联表时需创建关连model类的对象。model类只能比表的数量多不能少；2、前台传入数据时，可直接传入model类对象，只需传入数据名称和model名称一样即可。 前台：$.ajax({ url:url, dataType:'json', data:{"name":name}, Type
2016-11-24 20:42:39
1059
1
原创 python 学习记录
对照着Python for data analysis学的，这本书真心好。学了几页就可以画出简单的图形了。强烈推荐##---(Mon Nov 21 22:42:40 2016)---import pandaspath = "D:\1py\pydata-book-master\ch02\usagov_bitly_data2012-03-16-1331923249.txt"path = "D:/1
2016-11-22 00:09:35
282
原创 基于社区医疗系统的spring+mybatis架构设计流程----登录
本文完整介绍了的 登录 的前后台工作过程。对于其他前后台关于数据库的增删改查操作适用于同样的流程。 1 在web.xml中加入数据库的相应配置文件 <context-param> <param-name>contextConfigLocation</param-name> <param-value>classpath:applicationContext.xml</param-v
2016-11-13 14:48:29
837
1
原创 python中的@property使用
如下：class animal(object): def __init__(self,name,age): self.name = name; self.age = age;a = animal("zhuzhu",9)a.nameOut[3]: 'zhuzhu'a.ageOut[4]: 9a.age=20a.ageOut[5]: 20在pytho
2016-11-09 10:29:37
811
原创 python 学习。。。
照着 慕课Python进阶写的，还有好多不会。import timedef log(prefix): #装饰器 def log_decorator(f): def wrapper(*args,**kw): print(prefix,f.__name__) return f(*args,**kw)
2016-11-08 08:27:13
231
原创 python 笔记
map 接收函数f和list，并把函数f依次作用到list上 例如： def format_name(s): return s[:1].upper()+s[1:].lower() print(map(format_name,['ade','Msas','varU'])) 将字符串首字母大写reduce()函数也是Python内置的一个高阶函数。reduce()
2016-11-07 14:26:40
242
原创 Mybatis select查询语句
查询结果有多条： select * from testone 测试程序写为 List one = session.selectList（） for循环取值.联合查询: 一个java类需要关联另一个java类，即存在 private Teacher teacher；属性 对应的mapper.xml中： <resultMap type="com.commun
2016-11-07 13:24:58
1010
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人