Jupyter Notebook
文章平均质量分 60
xsimah
再见少年拉满弓,不惧岁月不惧风。
1.科技先进工作者、省级评审专家库、参与4篇专利、杭州E类人才;
2.参与管理6+人数据分析与挖掘(AI)团队;
3.多次带领团队荣获数据应用模型创新大赛单位一等奖、作品一等奖、个人一等奖;
展开
-
【python015】常见成熟AI-图像识别场景算法清单(已更新)
极视角科技是一家人工智能平台型企业,做进一步AI图像识别算法总结、学习。原创 2024-08-02 21:19:24 · 907 阅读 · 3 评论 -
Python爬虫系列之三:根据名称爬取经纬度信息并Geohash编码
1 开发场景安装geohash模块并根据经纬度计算geohash值.爬取某些名称(地名)的经纬度等信息.开发语言及工具 Python 2Anaconda mzgeohash 安装包(tar.gz)下载 / 安装 Link 1源码下载 / 安装 Link 2注意: 个人尝试,mzgeohash支持Python 2, Python 3 下会提示语法错误. 为了便于使用,开发原创 2018-01-27 22:32:28 · 6454 阅读 · 4 评论 -
修改linux系统时间-ODPS-0410031-解决方案
写在前面近期较忙,,,仅参考记录问题解决方案问题描述MaxCompute客户端配置因本地时间不对导致超时 FAILED: ODPS-0410031:Authentication request expired - the expire time interval exceeds the max limitation: 900000, max_interval_date:90...原创 2019-11-07 17:01:34 · 1169 阅读 · 0 评论 -
利用 Python 计算MD5值
文章架构 目的日常开发中,经常涉及到针对某些值进行加密的情况(隐私信息,例如密码等信息)。利用 Python 某些模块将 DataFrame(pandas)某列进行MD5加密处理很方便。利用Python 3 与 Python 2中不同模块处理之间的差异(例如,Python2 MD5模块与Python 3 hashlib模块)。加密方式hashlib 模...原创 2018-03-20 18:59:34 · 38842 阅读 · 1 评论 -
pandas处理远程mysql数据
应用场景pandas 【分析、处理利器】 处理、分析数据比较强大,因此这样的需求很有必要.。利用 pandas(Python) 查询处理数据库数据 。来一下华丽的分割 … …Python CodingMySQLdb 建立连接import pymysqlpymysql.install_as_MySQLdb()import MySQLdbimport pa...原创 2018-03-30 22:44:07 · 1160 阅读 · 0 评论 -
gpx文件解析 Demo
GPX (the GPS Exchange Format)WHAT IS GPX? GPX (the GPS Exchange Format) is a light-weight XML data format for the interchange of GPS data (waypoints, routes, and tracks) between applications and W...原创 2018-07-13 00:49:00 · 10500 阅读 · 0 评论 -
jupyter启动闪退,错误日志(windows)
闪退问题 :Windows 安装Anaconda 后,总是不能正常启动,总是异常闪退。卸载后重新安装,启动失败。使用管理员权限,启动失败。注释:当然,如果可以打印错误日志,那问题就很容易解决了。另,我这里不是启动路径引起的问题(大多数网文提供的答案是路径问题)。附,该问题遗留了几个月时间,一时也想不到好的解决方法。异常查找 :在 Anaconda Prompt...原创 2018-09-28 10:26:54 · 2221 阅读 · 0 评论 -
Error in loadNamespace(i, c(lib.loc, .libPaths()), versionCheck = vI[[i]]) : 'digest'
α 写在前面如何利用R语言进行有效数据分挖掘eclipse + StatET实际开发中感觉有些繁琐R语言开发工具之eclipse+StatETJupyter + R推荐Jupyter 安装 R内核β 问题描述基于Jupyter,R语言开发过程中,通过 install.packages('xxxx') 命令安装某些包后,R内核启动失败。具体异常如下所示...原创 2018-10-10 15:20:42 · 16090 阅读 · 2 评论 -
Python经验总结-图形化显示(一)
写在前面积累工作中常用,但费时的数据处理技巧。利用碎片化时间完成小记。P1: Pandas Series非科学计数法显示pd.set_option('display.float_format', lambda x : '%.5f' % x)data_test.sample(3)P2: plt.title/labels 引用中文import numpy as npimp...原创 2019-03-14 22:31:12 · 1668 阅读 · 0 评论 -
Python爬取顶级域名(根域名)数据
主框架 场景描述数据分析/挖掘过程中,某些场景利用 根域名数据 进行数据筛选 。在利用 Python 处理本地文件。顶级域名数据获取方式方式 1 Python 2 urllib2.urlopen() 方法import pandas as pdimport urllib2from bs4 import BeautifulSoupurl='h...原创 2018-02-27 19:28:22 · 2976 阅读 · 0 评论 -
apply函数处理多列series数据及时间字符串转timestamp
文章架构 场景描述数据挖掘过程中, 会遇到处理/加工多列(series)的需求。例如,计算某些选择列的和、拼接某些列组成新的列(用于筛选比较)等。博文通过小例子,给出解决上述需求的实现过程。有的时候,一些数据需要根据实现排序取最新的,因此文章也涉及将时间串转换为 timestamp 的过程,在此文中一并记录。Demo实验apply 函数的使用与计算# ...原创 2018-03-07 00:22:18 · 2041 阅读 · 1 评论 -
远程访问Jupyter Notebook应用(Linux虚拟机)
如何成功访问远程服务器或虚拟机中的 Jupyter 应用程序呢?原创 2017-10-28 21:54:23 · 2925 阅读 · 1 评论 -
Python 解析爬取的车次数据(12306)
利用 Python 更好、高效地加工、解析大数据量文件原创 2017-10-29 01:11:00 · 4884 阅读 · 1 评论 -
1005. 继续(3n+1)猜想(Python)
1005. 继续(3n+1)猜想(Python)原创 2017-11-08 21:59:23 · 1817 阅读 · 2 评论 -
利用Python读取网络数据文件
场景在实践机器学习算法过程中,有的数据源可以通过网络获取。于是,想利用Python代码直接加载到程序中,省去下载的操作。一方面是可能是由于懒,另一方面还可以秀一下“肌肉”,哈哈哈 …作为一名实在的假“程序猿”,手动下载资源如果被小弟们看到,太跌份儿不是!开发工具 Anaconda 2Python 3描述在贝叶斯分类器学习过程中,积累了问题。文章涵盖以下3方面内容:原创 2018-01-30 21:07:28 · 14075 阅读 · 0 评论 -
Python爬虫系列之二:爬取2018公务员招考职位信息
1 开发场景爬取公务员招考职位(2018)信息,积累知识、锻炼动手能力等等。2 详细描述基于 Python 爬取 华图教育 官网有关公务员招考职位信息数据。通过request请求数据,利用bs4进行解析;由于实现较简单,请(bu)参(zai)考(zhui)代(su)码。3 具体代码# coding: utf-8# ### 爬取浙江公务员职位信息impor原创 2018-01-24 23:13:57 · 2697 阅读 · 0 评论 -
Python爬虫系列之四:利用Python爬取PyODPS页面并整合成PDF文档
文章架构开发场景在日常开发过程中, 经常需要参考一些文档。对于在线文档,往往由于网速等原因,用起来总不是那么(ma)顺(fan)心。博文以爬取 PyODPS Docs 为例,整理页面爬取、转换(PDFKit)、文档整合(PyPDF2)的过程。开发工具 AnacondaPython 2实现方案基于 bs4 模块标签解析 爬取页面,逐层获取获取子链接弃原创 2018-02-03 19:30:48 · 1207 阅读 · 1 评论 -
geohash 模块安装及使用(Anaconda.Python 2)
1 安装场景在 anaconda多内核环境中,实现 由 经纬度 得到 geohash 编码 .实现方式: 安装 Geohash 模块安装方式 通过 命令行 安装 在 Anaconda Prompt 窗口中,通过 pip 或 conda 命令安装Geohash模块 .通过 源代码 安装 下载tar包或者源代码,通过 setup.py 文件完整安装 .安装方式详见: 用setu原创 2018-01-28 00:10:34 · 7223 阅读 · 0 评论 -
DataFrame 对象合并
主要内容Pandas中 DataFrame 对象数据纵向、横向合并。Pandas 中 concat 函数参数理解与简单应用。异常的简单处理。目的再利用Python开发过程中,常用到 DataFrame 对象的横、纵向合并,所以作此总结。1. 纵向合并DataFrameDataFrame 对象所有列列名一致df = pd.DataFrame([...原创 2018-02-27 00:07:44 · 8013 阅读 · 1 评论 -
Unreadable Notebook NotJSONError('Notebook does not appear to be JSON: u\'{\\n
偶然的错误操作(一脸懵逼,我确实不知道我对她做了什么!),耗费了很长时间使用 Jupyter 完成的脚本忽然打不开了。尝试很多次依然“面不改色”地提示错误如下:Unreadable Notebook NotJSONError('Notebook does not appear to be JSON: u\'{\\n “cells”: [\\n {\\n “cell_type”: "…',)首先想到原创 2017-08-29 23:33:04 · 28183 阅读 · 3 评论